关于lustre的几个问题求助

eddawong

最近搭了一个Lustre 以太网互联的测试环境，基本配置如下：

MDS：
DELL R900
CPU E7310*4
内存 8GB



OSS1：和MDS合设
OSS2：
DELL R900

CPU E7310*4

内存 8GB



OST1：DELL MD3000 4个sas盘组成的raid
OST2：DELL MD3000 4个sas盘组成的raid

OS版本 SLES10，使用lustre打过补丁的内核rpm包安装
Lustre Sever版本 1.8.0.1

Client1&2:
DELL R710
CPU E5504*2
内存 4G

OS SLES10 ，内核版本2.6.16.60-0.37_f594963d-bigsmp
Lustre Client版本，采用patchless client方式，版本也是1.8.0.1


客户端和服务器通过一个千兆交换机互联。

测试发现如下几个问题：

• 服务端安装lustre官方的内核rpm包后，系统启动后找不到usb键盘。用lsmod发现，相关模块均未自动加载。但是自己手工加载ehci uhci等模块后，键盘依然不可以用
• 服务端的网卡中断全部被cpu0处理，没有被负载均衡。google后发现一个可能的原因，irq_balance服务对部分使用msi方式的设备无法进行负载均衡。增加modprobe参数 options bnx2 disable_msi=1后，问题的确可以解决。但R710上不加这个参数，网卡中断也可以被负载均衡，这是怎么回事？它们的网卡驱动版本完全一致，都是1.7.6b。只是一个是四口网卡，另外一个是双口。如果不对网络中断作负载均衡，对系统性能影响大么？
• 用iozone测试系统读写吞吐量。测试参数为iozone -i0 -i1 -t200 -r8k -s100m  -w。 从测试结果看，无论读还是写，均接近千兆网卡的线速。

       Children see throughput for 200 initial writers         =  119658.90 KB/sec
        Parent sees throughput for 200 initial writers  =  106254.22 KB/sec
        Min throughput per process                      =     579.27 KB/sec
        Max throughput per process                      =     667.91 KB/sec
        Avg throughput per process                      =     598.29 KB/sec
        Min xfer                                        =   88768.00 KB

        Children see throughput for 200 rewriters       =  120041.16 KB/sec
        Parent sees throughput for 200 rewriters        =  118814.74 KB/sec
        Min throughput per process                      =     584.39 KB/sec
        Max throughput per process                      =     662.33 KB/sec
        Avg throughput per process                      =     600.21 KB/sec
        Min xfer                                        =   90808.00 KB

        Children see throughput for 200 readers                 =  116384.36 KB/sec
        Parent sees throughput for 200 readers          =  112809.96 KB/sec
        Min throughput per process                      =     159.43 KB/sec
        Max throughput per process                      =     888.75 KB/sec
        Avg throughput per process                      =     581.92 KB/sec
        Min xfer                                        =   18432.00 KB

        Children see throughput for 200 re-readers      =  106250.04 KB/sec
        Parent sees throughput for 200 re-readers       =  103358.13 KB/sec
        Min throughput per process                      =     110.57 KB/sec
        Max throughput per process                      =    1054.21 KB/sec
        Avg throughput per process                      =     531.25 KB/sec
        Min xfer                                        =   10752.00 KB:w


客户端进行并发写时，CPU使用率还算正常，不到15%.但是并发读时，客户端的CPU使用率经常为100%，其中CPU 在sys状态下占50%左右
服务端的CPU使用率一直比较低，不到5%。
请问如何才能降低并发读时，客户端的CPU使用率？有哪些参数是可调的？

请各位大牛帮忙支持，多谢！

[ 本帖最后由 eddawong 于 2009-7-13 15:52 编辑 ]

kns1024wh

之前的测试也是发现过此类问题

molecar

我没发现过CPU有那么搞的.内存高属于正常.CPU高.就不正常吧