FreeBSD 做NAT interrupt很高

loulancn

cat /var/run/dmesg.boot |grep driver
pci0: <unknown> at device 0.1 (no driver attached)
pci0: <unknown> at device 2.1 (no driver attached)
pci4: <display, VGA> at device 5.0 (no driver attached)
pci0: <serial bus, SMBus> at device 31.3 (no driver attached)


hostb0@pci0:0:0:        class=0x060000 card=0x254c1462 chip=0x254c8086 rev=0x01                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = 'E7501 Host Controller'
    class    = bridge
    subclass = HOST-PCI
none0@pci0:0:1: class=0xff0000 card=0x25411462 chip=0x25418086 rev=0x01 hdr=0x00
    vendor   = 'Intel Corporation'
    device   = 'E7500 System Controller (MCH, Hub Interface A) Error Reporter'
pcib1@pci0:2:0: class=0x060400 card=0x00000000 chip=0x25438086 rev=0x01 hdr=0x01
    vendor   = 'Intel Corporation'
    device   = 'E7500/E7501 HI_B Virtual PCI-to-PCI Bridge'
    class    = bridge
    subclass = PCI-PCI
none1@pci0:2:1: class=0xff0000 card=0x25441462 chip=0x25448086 rev=0x01 hdr=0x00
    vendor   = 'Intel Corporation'
    device   = 'E7500/E7501 HI_B PCI-to-PCI Bridge Error Reporting'
uhci0@pci0:29:0:        class=0x0c0300 card=0x13801462 chip=0x24828086 rev=0x02                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82801CA/CAM (ICH3-S/ICH3-M) USB Controller'
    class    = serial bus
    subclass = USB
uhci1@pci0:29:1:        class=0x0c0300 card=0x13801462 chip=0x24848086 rev=0x02                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82801CA/CAM (ICH3-S/ICH3-M) USB Controller'
    class    = serial bus
    subclass = USB
uhci2@pci0:29:2:        class=0x0c0300 card=0x13801462 chip=0x24878086 rev=0x02                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82801CA/CAM (ICH3-S/ICH3-M) USB Controller'
    class    = serial bus
    subclass = USB
pcib4@pci0:30:0:        class=0x060400 card=0x00000000 chip=0x244e8086 rev=0x42                   hdr=0x01
    vendor   = 'Intel Corporation'
    device   = '82801BA/CA/DB/DBL/EB/ER/FB (ICH2/3/4/4/5/5/6), 6300ESB Hub Inter                  face to PCI Bridge'
    class    = bridge
    subclass = PCI-PCI
isab0@pci0:31:0:        class=0x060100 card=0x00000000 chip=0x24808086 rev=0x02                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82801CA/CAM (ICH3-S/ICH3-M) LPC Interface'
    class    = bridge
    subclass = PCI-ISA
atapci0@pci0:31:1:      class=0x01018a card=0x13801462 chip=0x248b8086 rev=0x02                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82801CA (ICH3) UltraATA/100 EIDE Controller'
    class    = mass storage
    subclass = ATA
none2@pci0:31:3:        class=0x0c0500 card=0x13801462 chip=0x24838086 rev=0x02                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82801CA/CAM (ICH3-S/ICH3-M) SMBus Controller'
    class    = serial bus
    subclass = SMBus
ioapic0@pci1:28:0:      class=0x080020 card=0x00000000 chip=0x14618086 rev=0x04                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = 'P64H2 I/O Advanced Programmable Interrupt Controller'
    class    = base peripheral
    subclass = interrupt controller
pcib2@pci1:29:0:        class=0x060400 card=0x00000000 chip=0x14608086 rev=0x04                   hdr=0x01
    vendor   = 'Intel Corporation'
    device   = '82870P2 P64H2 PCI/PCI-X Hub Controller'
    class    = bridge
    subclass = PCI-PCI
ioapic1@pci1:30:0:      class=0x080020 card=0x00000000 chip=0x14618086 rev=0x04                   hdr=0x00
    vendor   = 'Intel Corporation'
    device   = 'P64H2 I/O Advanced Programmable Interrupt Controller'
    class    = base peripheral
    subclass = interrupt controller
pcib3@pci1:31:0:        class=0x060400 card=0x00000000 chip=0x14608086 rev=0x04                   hdr=0x01
    vendor   = 'Intel Corporation'
    device   = '82870P2 P64H2 PCI/PCI-X Hub Controller'
    class    = bridge
    subclass = PCI-PCI
em0@pci2:9:0:   class=0x020000 card=0x13801462 chip=0x100f8086 rev=0x01 hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82545EM Gigabit Ethernet Controller (copper)'
    class    = network
    subclass = ethernet
ahd0@pci3:7:0:  class=0x010000 card=0x13801462 chip=0x801f9005 rev=0x03 hdr=0x00
    vendor   = 'Adaptec Inc'
    device   = 'AIC-7902 Ultra320 SCSI Controller'
    class    = mass storage
    subclass = SCSI
ahd1@pci3:7:1:  class=0x010000 card=0x13801462 chip=0x801f9005 rev=0x03 hdr=0x00
    vendor   = 'Adaptec Inc'
    device   = 'AIC-7902 Ultra320 SCSI Controller'
    class    = mass storage
    subclass = SCSI
em1@pci4:4:0:   class=0x020000 card=0x13801462 chip=0x100e8086 rev=0x02 hdr=0x00
    vendor   = 'Intel Corporation'
    device   = '82540EM Gigabit Ethernet Controller'
    class    = network
    subclass = ethernet
none3@pci4:5:0: class=0x030000 card=0x13801462 chip=0x47521002 rev=0x27 hdr=0x00
    vendor   = 'ATI Technologies Inc'
    device   = 'Rage XL PCI'
    class    = display
    subclass = VGA
xl0@pci4:6:0:   class=0x020000 card=0x905510b7 chip=0x905510b7 rev=0x24 hdr=0x00
    vendor   = '3COM Corp, Networking Division'
    device   = '3C905B-TX Fast Etherlink 10/100 PCI TX NIC'
    class    = network
    subclass = ethernet

lsstarboy

妈呀！
HZ=8000啊！还四个CPU。光CPU中断就能拖死你。
HZ=2000就不少了。
如果HTT（超线程）开启的话，关闭掉。

loulancn

kern.clockrate: { hz = 4000, tick = 250, profhz = 2666, stathz = 533 }

等会负载下来的时候我改一下HZ。

HTT关了，SMP呢？

lsstarboy

你4个CPU？并且那两个还没有起作用？应该是HTT没关吧。

SMP可以留着。

再者，服务器还要USB干嘛？

loulancn

HZ现在已经调到2000了，HTT也关了，不过interrupt还是在99%。

最开始时用的是系统默认的HZ=1000，有类似情况。后来在panabit.com看到说是把HZ调高后能有所改善，从现在看，效果好像不是很明显。

现在服务器使用的是USB键盘，所以就保留了USB驱动。

mirnshi

原帖由 loulancn 于 2007-10-10 16:32 发表
-bash2-2.05b# vmstat -i
interrupt                          total       rate
irq3: sio1                             3          0
irq4: sio0                             3          0
irq15: ata1 ...

明显的cpu切换耗费了大量的中断。

gofans

LZ  做NAT而已，用不上那麼高的配置吧！！一般的機器就行啦！   扔個給兄弟用用也好啊！！

lsstarboy

具体的问题，还要靠自己解决，再提供四个建议：
1、既然是服务器，远程管理足够。把USB去掉。因为是中断共享，所以不好说是哪个出了问题。

2、systat -vmstat ，看一下网卡的中断情况。

3、把acpi禁掉试试。

3、看一下手册上的内容，是不是遇到了“中断风暴”？

loulancn

多谢楼上几位，我再调调看，

这个机器是比较老的了，02年左右的，200M跑负载均衡，带1W多用户上网呢。

lsstarboy

厉害。流量大的话，网卡的中断是正常的。