skb->nh.iph->saddr导致性能下降

happy_flying

最近在做一个二层接入的小设备,今天发现新版本的性能从60M降为50M,通过查code,发现是下面这句导致的:
    return skb->nh.iph->saddr;
如果改为
  return skb->nh.iph;
性能就能达到60M.
另外,我的box的内存很小（只有6M）.
本版高手如云,希望大家给个思路.

[ 本帖最后由 happy_flying 于 2008-6-26 16:00 编辑 ]

platinum

6M 是数量，单位是什么？Bps 还是 bps

happy_flying

sorry,没说清楚,内存是6MByte.
# cat /proc/meminfo
        total:    used:    free:  shared: buffers:  cached:
Mem:   6684672  6402048   282624        0   733184  1650688
Swap:        0        0        0
MemTotal:         6528 kB

qtdszws

1.你是怎么发现的？
2.
导致的:
    return skb->nh.iph->saddr;
如果改为
  return skb->nh.iph;

信息太少?

happy_flying

该设备是一个二层转发设备,可以理解成一个bridge,新版本只增加了一个feature,就是在fdb表里添加一项:该MAC对应的IP地址.由于新加的code不多,所以我就逐行注释,每注释掉一行就测一次性能,发现注释掉下面这行后性能就能到60M了.
return skb->nh.iph->saddr;
后来就打开这行注释,改写这行,只要不访问saddr就没有问题.
我怀疑有可能是因为skb结构体本身和skb的data数据区不在同一个页面上导致的.只访问skb结构体本身所在的那个页面
性能正常,一访问skb data所在的那个页面性能就下降了,难道和cache有关?

flw2

肯定不会被交换
不过即便是没有cache，多访问一次内存也不至于导致这么多性能下降
再全一点?

happy_flying

有时候在某个地方随便加点废代码,性能就能提3、4M,所以跟cache肯定有关系,但这次差10M我认为就不仅仅是cache的问题了,觉得和内存太小有关系.

qtdszws

有可能，你没有监视过内存的使用吗,以及其他影响系统性能的参数?
vmstat 1

flw2

原帖由 qtdszws 于 2008-6-27 14:10 发表
有可能，你没有监视过内存的使用吗,以及其他影响系统性能的参数?
vmstat 1

内存小通常是导致什么问题，就是在哪块代码的地方？
比如一个千兆网卡收到的包有可能要缓冲太久导致没有内存（猜的，事实是总是丢包），尽管内存很大
一共6M的内存，加几个进程占用一些，加上内核本身，加上一些空闲的却不能收回的内存
会不会是dev_alloc_skb分配失败，因为是中断上下文