NFS性能调整疑问

mxin

因系统m01文件系统空间较满，并越来越紧张，只剩6G。有下个月定修前爆满的可能。我提了建议，在m02上的文件系统建立/backtmp，共享到m01使用，初步拷贝速度很快，但从今天凌晨exportdb的结果，却比昨天慢了很多，昨天47分钟，今天2小时都没结束。
检查当时系统状况，发现也有oracle进程忙，所以还不能肯定是网卡的问题。同样的NFS我在bxerp和pscs都作过，速度很快，但都是同一种网卡。这次m01为IBM 10/100 Mbps Ethernet PCI Adapter (23100020)，m02为2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)，都以设为100M全双工。
第一天 改网卡
ifconfig en2 down
chdev -l en2 -a tcp_recvspace=65536 -a tcp_sendspace=65536 -a tcp_nodelay=1
chdev -l 'ent2' -a rx_que_size='512' -a rxbuf_pool_size='1024'
lsattr -El ent2
ifconfig en2 detach
chdev -l ent2 -a rx_que_size=256 -a rxbuf_pool_size=1024
vmo -L
vmo -o maxclient%=20
vmo -po maxclient%=20
ifconfig en2 detach
chdev -l ent2 -a rxdesc_que_sz=256 -a rxbuf_pool_sz=1024
nfsstat
ifconfig en2 up

chdev -l ent2 -a rxdesc_que_sz=4096 -a rxbuf_pool_sz=1024
没有改善
第二天 改NFS

[m01][root][/]>nfso -D
Setting nfs_max_threads to 3891
[m02][root][/tmp]>diff a b
32c32
< nfs_max_threads 10 3891 3891 5 3891 Threads D
---
> nfs_max_threads 3891 3891 3891 5 3891 Threads D
[m02][root][/tmp]>nfsstat -s

Server rpc:
Connection oriented
calls badcalls nullrecv badlen xdrcall dupchecks dupreqs
2535097 0 0 0 0 1949559 0
Connectionless
calls badcalls nullrecv badlen xdrcall dupchecks dupreqs
0 0 0 0 0 0 0

Server nfs:
calls badcalls public_v2 public_v3
2535096 0 0 0
Version 2: (0 calls)
null getattr setattr root lookup readlink read
0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
wrcache write create remove rename link symlink
0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
mkdir rmdir readdir statfs
0 0% 0 0% 0 0% 0 0%
Version 3: (2535096 calls)
null getattr setattr lookup access readlink read
4 0% 12490 0% 7598 0% 1104 0% 1141 0% 0 0% 1052 0%
write create mkdir symlink mknod remove rmdir

1941387 76% 551 0% 3 0% 0 0% 0 0% 1 0% 0 0%
rename link readdir readdir+ fsstat fsinfo pathconf
0 0% 0 0% 5 0% 19 0% 4528 0% 4 0% 0 0%
commit
565209 22%
结果没有改善
第三天 修改exportfs和mount参数
经过多次试验，重新mount后，发现有所改善，但的确比本地慢50%左右。
[m01][root][/icdata/icprod]>nohup time cp PRIMETON_DATA.dbf /backtmp &
[m01][root][/icdata/icprod]>ls -l PRIMETON_DATA.dbf
-rw-r----- 1 oracle dba 1048584192 Dec 16 12:57 PRIMETON_DATA.dbf
Real 216.91
User 0.23
System 14.83
4.8M/s
[m01][root][/icdata/icprod]>nohup time cp PRIMETON_DATA.dbf /backtmpold &
Real 144.39
User 0.18
System 13.19
7M/s
第四、五天
经过2天大量测试调整，最终从6小时控制在4小时20分，已基本达到了其他同类卡的速度，但还是不能满足要求，考虑到在线系统，现已恢复原状。另找环境再做测试。
还没有进展。
2005-12-22
观察了其他机器x01,02在没做任何特别设置的情况下，速度的确能到网卡速度，但不是一个文件，而是很多文件，好几个文件系统，估计与此有关。
我在测试环境下做了试验，发现的确拷多个文件的平均速度比单个文件快。
2005-12-26
将一个的代码备份带46G通过同样的路径恢复出来到jfs2的文件系统，花了3个小时差点，平均16G/h，而原export竟是<5G/h.
将/backtmp改为jfs2，再观察。

[ 本帖最后由 mxin 于 2005-12-29 14:17 编辑 ]

mxin

NFS的性能如何达到稳定的接近网卡性能？

mxin

ding

mxin

2005-12-29
效果非常好，只用了49分钟！最终参数如下：
m01：
m02_isvc /backtmp /backtmp nfs3 Dec 27 08:18
m02:
/dev/backtmp_lv -- /backtmp jfs2 52428800 rw yes no
已等同于本地盘，看来jfs2的性能的确有明显的改善！

beginner-bj

谢谢共享

mxin

支持加精，呵呵