nfs试验成功

mxin

真是开心，缩到了49分钟，看来jfs2的性能的确不错！
问题描述(必填)   
其实不算故障。
因
系统/datavg文件系统空间较满，并越来越紧张，只剩6G。有下个月定修前爆满的可能。我提了建议，在ic02上的文件系统建立/backtmp，共
享到ic01使用，初步拷贝速度很快，但从今天凌晨exportdb的结果，却比昨天慢了很多，昨天40分钟，今天2小时都没结束。
检查当时系统
状况，发现也有oracle进程忙，所以还不能肯定是网卡的问题。同样的NFS我在bxerp和pscs都作过，速度很快，但都是同一种网卡。这次
ic01为IBM 10/100 Mbps Ethernet PCI Adapter (23100020)，ic02为2-Port
10/100/1000 Base-TX PCI-X Adapter (14108902)，都以设为100M全双工。
这次提出仅作技术问题探讨，今后几天王涛和我会密切跟踪，直到有结论。
继续跟踪，重点是网卡参数的设计，同时还要确认磁盘、复制的文件数据等
   
第一天 改网卡
     ifconfig en2 down
    chdev -l en2 -a tcp_recvspace=65536 -a tcp_sendspace=65536 -a tcp_nodelay=1
    chdev  -l 'ent2' -a rx_que_size='512' -a rxbuf_pool_size='1024'
  lsattr -El ent2
   ifconfig en2 detach
   chdev  -l ent2 -a rx_que_size=256  -a rxbuf_pool_size=1024
   vmo -L
   vmo -o maxclient%=20
  vmo -po maxclient%=20
  ifconfig en2 detach
  chdev  -l ent2 -a rxdesc_que_sz=256  -a rxbuf_pool_sz=1024
   nfsstat
   ifconfig en2 up
chdev  -l ent2 -a rxdesc_que_sz=4096  -a rxbuf_pool_sz=1024
没有改善
第二天 改NFS
[ic01][root][/]>nfso -D
Setting nfs_max_threads to 3891
[ic02][root][/tmp]>diff a b
32c32
nfs_max_threads 3891 3891 3891 5 3891 Threads D
[ic02][root][/tmp]>nfsstat -s
Server rpc:
Connection oriented
calls badcalls nullrecv badlen xdrcall dupchecks dupreqs
2535097 0 0 0 0 1949559 0
Connectionless
calls badcalls nullrecv badlen xdrcall dupchecks dupreqs
0 0 0 0 0 0 0
Server nfs:
calls badcalls public_v2 public_v3
2535096 0 0 0
Version 2: (0 calls)
null getattr setattr root lookup readlink read
0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
wrcache write create remove rename link symlink
0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
mkdir rmdir readdir statfs
0 0% 0 0% 0 0% 0 0%
Version 3: (2535096 calls)
null getattr setattr lookup access readlink read
4 0% 12490 0% 7598 0% 1104 0% 1141 0% 0 0% 1052 0%
write create mkdir symlink mknod remove rmdir
1941387 76% 551 0% 3 0% 0 0% 0 0% 1 0% 0 0%
rename link readdir readdir+ fsstat fsinfo pathconf
0 0% 0 0% 5 0% 19 0% 4528 0% 4 0% 0 0%
commit
565209 22%
结果没有改善
第三天 修改exportfs和mount参数
经过多次试验，重新mount后，发现有所改善，但的确比本地慢50%左右。
[ic01][root][/icdata/icprod]>nohup time cp  PRIMETON_DATA.dbf /backtmp &
[ic01][root][/icdata/icprod]>ls -l PRIMETON_DATA.dbf
-rw-r-----   1 oracle   dba      1048584192 Dec 16 12:57 PRIMETON_DATA.dbf
Real   216.91
User   0.23
System 14.83
4.8M/s
[ic01][root][/icdata/icprod]>nohup time cp  PRIMETON_DATA.dbf /backtmpold &
Real   144.39
User   0.18
System 13.19
7M/s
先调整了CA备份时间，后延1小时，明早观察。
增加了nfs server和client的数目
最终调整结果：
no -o sb_max=2097152
nfso -o nfs_tcp_socketsize = 2097052
nfso -o nfs_max_write_size=65536
nfso -o nfs_max_read_size=65536
mount: hard,bg,intr,timeo=1,retrans=3,rsize=65536,wsize=65536
nfsd 32 ,lock 32 ,biod 24(不调也可）
6M/s
或
nfso -o nfs_socketsize=1048476
mount：hard,intr,proto=udp,timeo=10
(nfsd -p dup -c 8)
last 4h20m  -->>20G
NFS比rcp慢2倍，比本地慢4倍。
第四、五天
经过2天大量测试调整，最终从6小时控制在4小时20分，已基本达到了其他同类卡的速度，但还是不能满足要求，考虑到在线系统，现已恢复原状。另找环境再做测试。
还没有进展。
2005-12-22
观察了bg_sas01,02在没做任何特别设置的情况下，速度的确能到网卡速度，但不是一个文件，而是很多文件，好几个文件系统，估计与此有关。
我在测试环境下做了试验，发现的确拷多个文件的平均速度比单个文件快。
2005-12-26
将bxerp的代码备份带46G通过同样的路径恢复出来，花了3个小时差点，平均16G/h，而原export竟是<5G/h.
将/backtmp改为jfs2，再观察。
2005-12-29
效果非常好，只用了49分钟！最终参数如下：
ic01：
ic02_isvc /backtmp /backtmp nfs3 Dec 27 08:18
ic02:
/dev/backtmp_lv -- /backtmp jfs2 52428800 rw yes no
已等同于本地盘，看来jfs2的性能的确有明显的改善！
               
               


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/2194/showart_64124.html