从ganglia流量图异常追查到现在，开始怀疑是内核问题了。

weichongli

2010-04-26 11:31

如下图， 注意单位是P



经过分析，是由于gmond收集数据时，经常由于一些我没找到的原因而得出了一个异常的大数。

ganglia的开发人员也意识到了这个问题，他们认为是硬件错误导致的，并在libmetrics/linux/metrics.c提供了如下修正：

1. #ifdef REMOVE_BOGUS_SPIKES
   
2. /*
   
3. ** Check for "invalid" data, caused by HW error. Throw away dubious data points
   
4. ** FIXME: This should be done per-interface, with threshholds depending on actual link speed
   
5. */
   
6. if ((l_bin > 1.0e13) || (l_bout > 1.0e13) ||
   
7. (l_pin > 1.0e8)  || (l_pout > 1.0e8)) {
   
8. err_msg("update_ifdata(%s): %g %g %g %g / %g",caller,l_bin,l_bout,l_pin,l_pout,t);
   
9. return;
   
10. }
    
11. #endif

复制代码

但是默认情况下，这个修正并未被激活，需要在编译时使用

make CFLAGS=-DREMOVE_BOGUS_SPIKES

来将这段代码编译进ganglia的二进制程序

观察中……

weichongli

2010.04.26 21:52 续：
今天中午又蹦出来一个……虽然是T级别的，但仍然不行。

见下图



考虑到目前我们单台Server流量不会超过2Gbps，临时修改了部分代码（ganglia-3.1.7)

1. 
   
2. diff metrics.c metrics.c.ori
   
3. 219d218
   
4. <               //TODO add log "%index %dev RxB TxB %dev RxB TxB"
   
5. 231,232c230
   
6. <             //debug_msg("update_ifdata(%s) - Overflow in rbi: %lu -> %lu",caller,ns->rbi,rbi);
   
7. <             err_msg("update_ifdata(%s) - Overflow in rbi: %lu -> %lu",caller,ns->rbi,rbi);
   
8. ---
   
9. >             debug_msg("update_ifdata(%s) - Overflow in rbi: %lu -> %lu",caller,ns->rbi,rbi);
   
10. 241,242c239
    
11. <             //debug_msg("updata_ifdata(%s) - Overflow in rpi: %lu -> %lu",caller,ns->rpi,rpi);
    
12. <             err_msg("updata_ifdata(%s) - Overflow in rpi: %lu -> %lu",caller,ns->rpi,rpi);
    
13. ---
    
14. >             debug_msg("updata_ifdata(%s) - Overflow in rpi: %lu -> %lu",caller,ns->rpi,rpi);
    
15. 255,256c252
    
16. <             //debug_msg("update_ifdata(%s) - Overflow in rbo: %lu -> %lu",caller,ns->rbo,rbo);
    
17. <             err_msg("update_ifdata(%s) - Overflow in rbo: %lu -> %lu",caller,ns->rbo,rbo);
    
18. ---
    
19. >             debug_msg("update_ifdata(%s) - Overflow in rbo: %lu -> %lu",caller,ns->rbo,rbo);
    
20. 265,266c261
    
21. <             //debug_msg("update_ifdata(%s) - Overflow in rpo: %lu -> %lu",caller,ns->rpo,rpo);
    
22. <             err_msg("update_ifdata(%s) - Overflow in rpo: %lu -> %lu",caller,ns->rpo,rpo);
    
23. ---
    
24. >             debug_msg("update_ifdata(%s) - Overflow in rpo: %lu -> %lu",caller,ns->rpo,rpo);
    
25. 297,298c292
    
26. < //     if ((l_bin > 1.0e13) || (l_bout > 1.0e13) ||
    
27. <      if ((l_bin > 2.5e8) || (l_bout > 2.5e8) ||
    
28. ---
    
29. >      if ((l_bin > 1.0e13) || (l_bout > 1.0e13) ||
    
30. 300,304c294
    
31. <         err_msg("update_ifdata(%s): %lu %g, %lu %g, %lu %g, %lu %g / %g", caller,
    
32. <             l_bytes_in, l_bin,
    
33. <             l_bytes_out, l_bout,
    
34. <             l_pkts_in, l_pin,
    
35. <             l_pkts_in, l_pout,t);
    
36. ---
    
37. >         err_msg("update_ifdata(%s): %g %g %g %g / %g",caller,l_bin,l_bout,l_pin,l_pout,t);
    

复制代码

本来想每次统计时都计算一次当前机器的激活的网卡数量来做一个上限（例如2块千M网卡，一块全速，另一块接了百M线，总量是1.1Gbps)，特意从 ethtool的源代码中抽取出一部分做了一个测试，但发现这种方式需要root权限。root权限是一定不会用的，另开一个进程反而增加了整个方案的复杂度只能放弃这个诱人的打算

单靠丢弃不合理数据不是个根本的解决办法，应该弄清楚错误数据是怎么产生的。继续观察,明天有时间再修改一下，把所有日志都加进去。

weichongli

2010.04.28 13:45 续

还是不行……我加了一个函数，把每次检查时的update_file()读取到的/proc/net/dev文件记录下来，出问题时，在/var/log/message的3个时间点有如下记录

Apr 27 23:19:13 hostname /opt/ganglia/sbin/gmond[18465]: update_ifdata(BO) - Overflow in rbo: 304634803029227 -> 630666266 [1272381553]
Apr 27 23:20:13 hostname /opt/ganglia/sbin/gmond[18465]: update_ifdata(BO) - Overflow in rbi: 10458900526801464705 -> 38016437180368 [1272381613]
Apr 27 23:20:13 hostname /opt/ganglia/sbin/gmond[18465]: update_ifdata(BO) - Overflow in rpo: 219388676028 -> 219365592250 [1272381613]


在对应的时间点/proc/net/dev记录的内容如下：

------------------ 1272381433.117603 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143390051 39831988    0    0    0     0          0         0 3143390051 39831988    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:38015520377153 135587033135    0 8587116    0     0          0         6 304631801519418 219359254753    0    0    0     0       0          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

------------------ 1272381493.118502 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143407797 39832216    0    0    0     0          0         0 3143407797 39832216    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:38015973907827 135588437010    0 8587116    0     0          0         6 304634803029227 219361451245    0    0    0     0       0          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

------------------ 1272381553.121013 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143407797 39832216    0    0    0     0          0         0 3143407797 39832216    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:10458900526801464705 135564674293    0 8587116    0     0          0 219363599555 630666266 219388676028 7723    0    0     0    7723          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

------------------ 1272381613.123535 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143444605 39832676    0    0    0     0          0         0 3143444605 39832676    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:38016437180368 135590918375    0 8587116    0     0          0         6 304640653909921 219365592250    0    0    0     0       0          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0


难道这是个内核BUG？ （2.6.20）我觉得这个不应该是硬件问题吧

weichongli

在1272381553这个时间点出了一个很异常的数，在下一时间点又恢复正常

weichongli

貌似我发错版块了……谁能帮我移个位置？

weichongli

嗯……问题定位了

broadcom网卡驱动模块bnx2有问题～