Chinaunix

标题: 请教：solaris 连接 emc 存储速度极慢 [打印本页]

作者: javapjl 时间: 2012-06-18 11:56
标题: 请教：solaris 连接 emc 存储速度极慢
大家好，

我的系统环境：

  一台sun solaris 主机 (SunOS XXX 5.10 Generic_144488-04 sun4u sparc SUNW,SPARC-Enterprise)

一台 hp linux 安腾小机 2660 ，一台 emc nas 存储。

两台小机都通过 nfs 方式连接到 emc 的同一空间，当然是通过不同的ip挂载（mount）上的。

主机和存贮之间通过Hua3千兆交换机连接。

solairs上运行着一个机构仓储（olap）系统，管理的都是几百兆至2G的大文件，大量的客户端会从这里下载文件，

问题：linux 连接emc没有问题，速度正常，但是 solaris连接 emc时就非常慢，几乎连接不上，现象如下：

1、如果在solaris上执行  df -h 就会发现原本是要挂载的几个存储卷出现的速度非常慢，比如正常情况下应该有如下信息：

root@digital # df -h
Filesystem          size used  avail capacity  Mounted on
/dev/md/dsk/d0       20G 7.5G 12G 39% /
/devices                0K    0K    0K    0% /devices
ctfs                   0K    0K    0K    0% /system/contract
proc                   0K    0K    0K    0% /proc
mnttab                0K    0K    0K    0% /etc/mnttab
swap                108G 1.9M 108G    1% /etc/svc/volatile
objfs                   0K    0K    0K    0% /system/object
sharefs                0K    0K    0K    0% /etc/dfs/sharetab
/dev/md/dsk/d20       9.9G 3.9G 5.8G 41% /usr
fd                      0K    0K    0K    0% /dev/fd
swap                108G 896K 108G    1% /tmp
swap                108G 88K 108G    1% /var/run
/dev/md/dsk/d40       42G 1.1G 41G    3% /export/home
/dev/dsk/c5t6006016008D028000D9C3D7B9120E111d0s6
                     1.6T 337M 1.6T    1% /ebook2

运行df后本地设备很快就看到了，但红色部分（emc设备）就要等很久很久才能出现，df的输出就卡在那儿，不动了。

2、从solaris 主机ping emc 存储，结果如下：

64 bytes from 192.168.1.90: icmp_seq=0. time=0.251 ms
64 bytes from 192.168.1.90: icmp_seq=1. time=0.240 ms
64 bytes from 192.168.1.90: icmp_seq=2. time=0.241 ms
64 bytes from 192.168.1.90: icmp_seq=3. time=0.228 ms
64 bytes from 192.168.1.90: icmp_seq=4. time=0.214 ms
64 bytes from 192.168.1.90: icmp_seq=5. time=0.202 ms
64 bytes from 192.168.1.90: icmp_seq=6. time=0.203 ms
64 bytes from 192.168.1.90: icmp_seq=7. time=0.186 ms
64 bytes from 192.168.1.90: icmp_seq=8. time=0.173 ms
64 bytes from 192.168.1.90: icmp_seq=9. time=0.281 ms
64 bytes from 192.168.1.90: icmp_seq=10. time=0.268 ms
64 bytes from 192.168.1.90: icmp_seq=11. time=0.247 ms
64 bytes from 192.168.1.90: icmp_seq=12. time=0.267 ms
64 bytes from 192.168.1.90: icmp_seq=13. time=0.240 ms
64 bytes from 192.168.1.90: icmp_seq=14. time=0.257 ms

3、我查过主机的负载，诸如 mpstat ,vmstat ,iostat等，貌似都很正常，一点都不高，

4、运行 netstat -s ：

TCP    tcpRtoAlgorithm    =    4    tcpRtoMin          = 400
      tcpRtoMax          = 60000    tcpMaxConn       = -1
      tcpActiveOpens    =625995    tcpPassiveOpens    =653332
      tcpAttemptFails    =240240    tcpEstabResets    =100845
      tcpCurrEstab       = 141    tcpOutSegs       =176425096
      tcpOutDataSegs    =221848300  tcpOutDataBytes    =1164290171
      tcpRetransSegs    =8454951 tcpRetransBytes    =3622524478
      tcpOutAck          =46609139 tcpOutAckDelayed =1921528
      tcpOutUrg          = 126    tcpOutWinUpdate    = 19405
      tcpOutWinProbe    =  5762    tcpOutControl    =2498101
      tcpOutRsts       =289327    tcpOutFastRetrans = 112
      tcpInSegs          =187196237
      tcpInAckSegs       =108991448  tcpInAckBytes    =172433623
      tcpInDupAck       =9538040 tcpInAckUnsent    = 13
      tcpInInorderSegs =253961330  tcpInInorderBytes =2151919823
      tcpInUnorderSegs =219678    tcpInUnorderBytes =1633190326
      tcpInDupSegs       = 44673    tcpInDupBytes    =4308560
      tcpInPartDupSegs = 16267    tcpInPartDupBytes =9297984
      tcpInPastWinSegs = 89    tcpInPastWinBytes =2044903847
      tcpInWinProbe    = 11    tcpInWinUpdate    =  3902
      tcpInClosed       =  2630    tcpRttNoUpdate    =77906834
      tcpRttUpdate       =30544671 tcpTimRetrans    =2771191
      tcpTimRetransDrop =  2133    tcpTimKeepalive    = 18977
      tcpTimKeepaliveProbe=  6773    tcpTimKeepaliveDrop =    2
      tcpListenDrop    =    0    tcpListenDropQ0    =    0
      tcpHalfOpenDrop    =    0    tcpOutSackRetrans =2817688

IPv4 ipForwarding       =    2    ipDefaultTTL       = 255
      ipInReceives       =361884451  ipInHdrErrors    =    7
      ipInAddrErrors    =    0    ipInCksumErrs    =    0
      ipForwDatagrams    =    0    ipForwProhibits    = 12960
      ipInUnknownProtos =    0    ipInDiscards       = 41
      ipInDelivers       =365653531  ipOutRequests    =272316826
      ipOutDiscards    =  1479    ipOutNoRoutes    =    0
      ipReasmTimeout    = 60    ipReasmReqds       =    0
      ipReasmOKs       =    0    ipReasmFails       =    0
      ipReasmDuplicates =    0    ipReasmPartDups    =    0
      ipFragOKs          =    0    ipFragFails       =    0
      ipFragCreates    =    0    ipRoutingDiscards =    0
      tcpInErrs          =    1    udpNoPorts       =5161846
      udpInCksumErrs    =    0    udpInOverflows    =    0
      rawipInOverflows =    0    ipsecInSucceeded = 426
      ipsecInFailed    =    0    ipInIPv6          =    0
      ipOutIPv6          =    0    ipOutSwitchIPv6    =    0

tcpRetransBytes  / tcpOutDataBytes 的值大的有点离谱。

5、 solaris  mount连接 emc 上的某些逻辑卷正常，mount 某些应用系统经常使用的就不正常，很慢。

6、重起 solaris , storage 和 network 就都正常了，但过一段后，上面的问题又会出现。

已经咨询过emc的技术支持，他们认定存储是没有问题的，觉得是交换机和网线的问题，对这个答案不满意，我也换过网线，甚至用了直连的方式，也不行。

也咨询过 sun的厂商技术支持（现在是oracle了，blalalala）,他们一口咬叮操作系统，网卡都是没有问题的。

我的软件开发商也很强势，几乎每提供什么帮助，唉，技不如人就要被欺负阿。

我想请教大家的是，如果想优化这个系统，我应该从那里入手，是应用系统的问题？把某些资源耗光了？

还是存储或nfs的问题，请大家多多指点，我对网络了解的有限，请各位不吝赐教

先谢谢了。

作者: javapjl 时间: 2012-06-18 17:15
标题: solaris 连接 emc超级慢
我在网络版发过这个帖子，大家认为不是网络问题：

大家好，

我的系统环境：

  一台sun solaris 主机 (SunOS XXX 5.10 Generic_144488-04 sun4u sparc SUNW,SPARC-Enterprise)

一台 hp linux 安腾小机 2660 ，一台 emc nas 存储。

两台小机都通过 nfs 方式连接到 emc 的同一空间，当然是通过不同的ip挂载（mount）上的。

主机和存贮之间通过Hua3千兆交换机连接。

solairs上运行着一个机构仓储（olap）系统，管理的都是几百兆至2G的大文件，大量的客户端会从这里下载文件，

问题：linux 连接emc没有问题，速度正常，但是 solaris连接 emc时就非常慢，几乎连接不上，现象如下：

1、如果在solaris上执行  df -h 就会发现原本是要挂载的几个存储卷出现的速度非常慢，比如正常情况下应该有如下信息：

root@digital # df -h
Filesystem          size used  avail capacity  Mounted on
/dev/md/dsk/d0       20G 7.5G 12G 39% /
/devices                0K    0K    0K    0% /devices
ctfs                   0K    0K    0K    0% /system/contract
proc                   0K    0K    0K    0% /proc
mnttab                0K    0K    0K    0% /etc/mnttab
swap                108G 1.9M 108G    1% /etc/svc/volatile
objfs                   0K    0K    0K    0% /system/object
sharefs                0K    0K    0K    0% /etc/dfs/sharetab
/dev/md/dsk/d20       9.9G 3.9G 5.8G 41% /usr
fd                      0K    0K    0K    0% /dev/fd
swap                108G 896K 108G    1% /tmp
swap                108G 88K 108G    1% /var/run
/dev/md/dsk/d40       42G 1.1G 41G    3% /export/home
/dev/dsk/c5t6006016008D028000D9C3D7B9120E111d0s6
                     1.6T 337M 1.6T    1% /ebook2

运行df后本地设备很快就看到了，但红色部分（emc设备）就要等很久很久才能出现，df的输出就卡在那儿，不动了。

2、从solaris 主机ping emc 存储，结果如下：

64 bytes from 192.168.1.90: icmp_seq=0. time=0.251 ms
64 bytes from 192.168.1.90: icmp_seq=1. time=0.240 ms
64 bytes from 192.168.1.90: icmp_seq=2. time=0.241 ms
64 bytes from 192.168.1.90: icmp_seq=3. time=0.228 ms
64 bytes from 192.168.1.90: icmp_seq=4. time=0.214 ms
64 bytes from 192.168.1.90: icmp_seq=5. time=0.202 ms
64 bytes from 192.168.1.90: icmp_seq=6. time=0.203 ms
64 bytes from 192.168.1.90: icmp_seq=7. time=0.186 ms
64 bytes from 192.168.1.90: icmp_seq=8. time=0.173 ms
64 bytes from 192.168.1.90: icmp_seq=9. time=0.281 ms
64 bytes from 192.168.1.90: icmp_seq=10. time=0.268 ms
64 bytes from 192.168.1.90: icmp_seq=11. time=0.247 ms
64 bytes from 192.168.1.90: icmp_seq=12. time=0.267 ms
64 bytes from 192.168.1.90: icmp_seq=13. time=0.240 ms
64 bytes from 192.168.1.90: icmp_seq=14. time=0.257 ms

3、我查过主机的负载，诸如 mpstat ,vmstat ,iostat等，貌似都很正常，一点都不高，

4、运行 netstat -s ：

TCP    tcpRtoAlgorithm    =    4    tcpRtoMin          = 400
      tcpRtoMax          = 60000    tcpMaxConn       = -1
      tcpActiveOpens    =625995    tcpPassiveOpens    =653332
      tcpAttemptFails    =240240    tcpEstabResets    =100845
      tcpCurrEstab       = 141    tcpOutSegs       =176425096
      tcpOutDataSegs    =221848300  tcpOutDataBytes    =1164290171
      tcpRetransSegs    =8454951 tcpRetransBytes    =3622524478
      tcpOutAck          =46609139 tcpOutAckDelayed =1921528
      tcpOutUrg          = 126    tcpOutWinUpdate    = 19405
      tcpOutWinProbe    =  5762    tcpOutControl    =2498101
      tcpOutRsts       =289327    tcpOutFastRetrans = 112
      tcpInSegs          =187196237
      tcpInAckSegs       =108991448  tcpInAckBytes    =172433623
      tcpInDupAck       =9538040 tcpInAckUnsent    = 13
      tcpInInorderSegs =253961330  tcpInInorderBytes =2151919823
      tcpInUnorderSegs =219678    tcpInUnorderBytes =1633190326
      tcpInDupSegs       = 44673    tcpInDupBytes    =4308560
      tcpInPartDupSegs = 16267    tcpInPartDupBytes =9297984
      tcpInPastWinSegs = 89    tcpInPastWinBytes =2044903847
      tcpInWinProbe    = 11    tcpInWinUpdate    =  3902
      tcpInClosed       =  2630    tcpRttNoUpdate    =77906834
      tcpRttUpdate       =30544671 tcpTimRetrans    =2771191
      tcpTimRetransDrop =  2133    tcpTimKeepalive    = 18977
      tcpTimKeepaliveProbe=  6773    tcpTimKeepaliveDrop =    2
      tcpListenDrop    =    0    tcpListenDropQ0    =    0
      tcpHalfOpenDrop    =    0    tcpOutSackRetrans =2817688

IPv4 ipForwarding       =    2    ipDefaultTTL       = 255
      ipInReceives       =361884451  ipInHdrErrors    =    7
      ipInAddrErrors    =    0    ipInCksumErrs    =    0
      ipForwDatagrams    =    0    ipForwProhibits    = 12960
      ipInUnknownProtos =    0    ipInDiscards       = 41
      ipInDelivers       =365653531  ipOutRequests    =272316826
      ipOutDiscards    =  1479    ipOutNoRoutes    =    0
      ipReasmTimeout    = 60    ipReasmReqds       =    0
      ipReasmOKs       =    0    ipReasmFails       =    0
      ipReasmDuplicates =    0    ipReasmPartDups    =    0
      ipFragOKs          =    0    ipFragFails       =    0
      ipFragCreates    =    0    ipRoutingDiscards =    0
      tcpInErrs          =    1    udpNoPorts       =5161846
      udpInCksumErrs    =    0    udpInOverflows    =    0
      rawipInOverflows =    0    ipsecInSucceeded = 426
      ipsecInFailed    =    0    ipInIPv6          =    0
      ipOutIPv6          =    0    ipOutSwitchIPv6    =    0

tcpRetransBytes  / tcpOutDataBytes 的值大的有点离谱。

5、 solaris  mount连接 emc 上的某些逻辑卷正常，mount 某些应用系统经常使用的就不正常，很慢。

6、重起 solaris , storage 和 network 就都正常了，但过一段后，上面的问题又会出现。

已经咨询过emc的技术支持，他们认定存储是没有问题的，觉得是交换机和网线的问题，对这个答案不满意，我也换过网线，甚至用了直连的方式，也不行。

也咨询过 sun的厂商技术支持（现在是oracle了，blalalala）,他们一口咬叮操作系统，网卡都是没有问题的。

我的软件开发商也很强势，几乎每提供什么帮助，唉，技不如人就要被欺负阿。

我想请教大家的是，如果想优化这个系统，我应该从那里入手，是应用系统的问题？把某些资源耗光了？

还是存储或nfs的问题，请大家多多指点，我对网络了解的有限，请各位不吝赐教

先谢谢了。

作者: send_linux 时间: 2012-06-18 17:35
这个算solaris的问题吧，我帮你转过去把

作者: nimysun 时间: 2012-06-19 08:57
这个问题有点难，需要点综合实力。

作者: javapjl 时间: 2012-06-19 08:57
各位指点指点阿

作者: nimysun 时间: 2012-06-19 09:00
你说的红色部分是 /dev/dsk/c5t6006016008D028000D9C3D7B9120E111d0s6 1.6T 337M 1.6T 1% /ebook2？

是iscsi方式挂载的吗？

我给你支一招。用tcpdump抓包，看卡在哪一步了？

按理来说EMC or Oracle都有应该有能力独立解决此问题。

作者: javapjl 时间: 2012-06-19 09:14
我总感觉是应用系统把某些 io或网络资源抓着不释放，才导致这种情况的，但我不知道如何才能确定是哪一块的问题。

作者: javapjl 时间: 2012-06-19 09:22
多谢 nimysun 的指点，

红色部分就是 /dev/dsk/c5t6006016008D028000D9C3D7B9120E111d0s6 1.6T 337M 1.6T 1% /ebook2

是 nfs 方式挂载的，该存储用于大文件的存储（repository）

作者: javapjl 时间: 2012-06-19 09:51
按照 nimysun 的方法，我用 snoop 试了一下，我对网络不熟，把结构贴出来，请大家帮我分析分析

其中 192.168.1.70 是 solaris　，　１９２．１６８．１．９０　是　ｅｍｃ

# snoop 192.168.1.70 192.168.1.90
Using device bge2 (promiscuous mode)
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598224942 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598226402 Seq=689416401 Len=0 Win=49640 Options=<nop,nop,sack 2598234127-2598234>
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598226402 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598227862 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598227862 Seq=689416401 Len=0 Win=49640 Options=<nop,nop,sack 2598234127-2598234>
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598229322 Seq=689416401 Len=0 Win=49640 Options=<nop,nop,sack 2598234127-2598234>
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598229322 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598230782 Seq=689416401 Len=0 Win=49640 Options=<nop,nop,sack 2598234127-2598234>
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598230782 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598232242 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598232242 Seq=689416401 Len=0 Win=49640 Options=<nop,nop,sack 2598234127-2598234>
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598233702 Seq=689416401 Len=0 Win=49640 Options=<nop,nop,sack 2598234127-2598234>
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598233702 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598235162 Seq=689416401 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598235162 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598236622 Len=547 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598237169 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598238629 Len=515 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598239144 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598240604 Len=490 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598237169 Seq=689416401 Len=0 Win=47633
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598239144 Seq=689416401 Len=0 Win=45658
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598241094 Seq=689416401 Len=0 Win=43708
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598241094 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598242554 Len=470 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598243024 Seq=689416401 Len=0 Win=49170
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598243024 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598244484 Len=1000 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416401 Seq=2598245484 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598245484 Seq=689416401 Len=0 Win=46710
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=E2E8 at 23330816 for 32768
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=E2E8 at 23330816 for 32768 (retransmit)
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416525 Seq=2598257335 Len=0 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416525 Seq=2598246944 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598248404 Seq=689416525 Len=0 Win=49640
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=74B7 at 71335936 for 32768
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416525 Seq=2598248404 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416525 Seq=2598249864 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598251324 Seq=689416649 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598251324 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598252784 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598254244 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598255704 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598254244 Seq=689416649 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598257164 Seq=689416649 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598257164 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598258624 Seq=689416649 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598258624 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598260084 Seq=689416649 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598260084 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598261544 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598263004 Seq=689416649 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598263004 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598264464 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598265924 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598267384 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598265924 Seq=689416649 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598268844 Seq=689416649 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598268844 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598270304 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598271764 Len=547 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598272311 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598273771 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598275231 Len=515 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598271764 Seq=689416649 Len=0 Win=45260
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598273771 Seq=689416649 Len=0 Win=49640
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598275746 Seq=689416649 Len=0 Win=47665
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598275746 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598277206 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598278666 Len=490 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598279156 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598280616 Len=1017 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598281633 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598278666 Seq=689416649 Len=0 Win=44745
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598280616 Seq=689416649 Len=0 Win=49640
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598283093 Seq=689416649 Len=0 Win=47163
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598283093 Len=968 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598284061 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598285521 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598286981 Len=438 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598287419 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598288879 Len=915 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598289794 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598285521 Seq=689416649 Len=0 Win=44735
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598287419 Seq=689416649 Len=0 Win=49202
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598289794 Seq=689416649 Len=0 Win=46827
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598291254 Len=1431 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=2598292685 Seq=689416649 Len=0 Win=43936
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598292685 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598294145 Len=1372 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598295517 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=689416649 Seq=2598296977 Len=833 Win=12288

作者: javapjl 时间: 2012-06-19 09:52
我发现里面有很多个　　192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=E2E8 at 23330816 for 32768 (retransmit)

作者: javapjl 时间: 2012-06-19 09:56
下面是我过滤出　ｎｆｓ　部分　

root@digital # snoop -i netoutput rpc nfs  192.168.1.70  192.168.1.90
  1 0.00000 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=E2E8 at 23298048 for 32768
  2 3.09117 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=11B0 at 21889024 for 32768
  3 0.00120 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=74B4 at 21364736 for 32768
  4 0.88746 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=74B4 at 21364736 for 32768 (retransmit)
  5 0.59018 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=31EA at 6782976 for 32768
  6 1.42983 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=E6F0 at 6914048 for 32768
  7 0.00998 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=74B4 at 71237632 for 32768
  8 0.00001 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=B66E at 4816896 for 32768
  9 0.00001 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=74B7 at 71335936 for 32768
10 0.00001 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=2CEB at 22773760 for 32768
11 0.00001 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=27EA at 6815744 for 32768
12 0.00001 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=28EB at 15990784 for 32768
13 1.58148 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=6DA5 at 34471936 for 32768
14 0.04857 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=47FF at 10158080 for 32768
15 2.95150 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=5BC2 at 15335424 for 32768
16 0.00098 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=50F3 at 6979584 for 32768
17 0.00118 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=5AA0 at 6946816 for 32768
18 0.00025 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=04F2 at 6979584 for 32768
19 0.00056 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=51D1 at 223281152 for 32768
20 0.00051 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=9644 at 34373632 for 32768
21 0.00035 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=61D1 at 22675456 for 32768
22 0.00101 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=232F at 5079040 for 32768
23 0.48351 192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=9644 at 34373632 for 32768 (retransmit)

作者: javapjl 时间: 2012-06-19 10:16
ＥＭＣ的现场ｓｕｐｐｏｒｔ　和　上海远程　的来我这　６次都不止了，他们我都快认识了，只要　存储正常，他们就不管了

作者: znnnz 时间: 2012-06-19 11:50
奇怪，EMC没推荐你用powerpath

作者: znnnz 时间: 2012-06-19 11:57
/etc/nsswitch.conf

作者: killer911 时间: 2012-06-19 13:51

楼上,EMC的NAS

作者: znnnz 时间: 2012-06-19 14:13
楼上，你说的对。

作者: javapjl 时间: 2012-06-19 14:26
谢谢指点

more /etc/nsswitch.conf
#
# Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
# Use is subject to license terms.
#
# ident "@(#)nsswitch.files    1.14 06/05/03 SMI"

#
# /etc/nsswitch.files:
#
# An example file that could be copied over to /etc/nsswitch.conf; it
# does not use any naming service.
#
# "hosts:" and "services:" in this file are used only if the
# /etc/netconfig file has a "-" for nametoaddr_libs of "inet" transports.

passwd:    files
group:    files
hosts:    files
ipnodes: files
networks: files
protocols:  files
rpc:       files
ethers:    files
netmasks: files
bootparams: files
publickey:  files
# At present there isn't a 'files' backend for netgroup;  the system will
# figure it out pretty quickly, and won't use netgroups at all.
netgroup: files
automount:  files
aliases: files
services: files
printers:    user files

auth_attr:  files
prof_attr:  files
project: files

tnrhtp:    files
tnrhdb:    files

作者: javapjl 时间: 2012-06-19 15:19
emc 问题不小

作者: 东方蜘蛛 时间: 2012-06-19 16:02
让EMC运行下他们收集信息的脚本，然后让EMC提供：EMC's Policies and Requirements for EMC Support Matrix，检查当前环境下要求的补丁及参数设置是否正确。

作者: javapjl 时间: 2012-06-19 16:37
谢谢东方蜘蛛

作者: nimysun 时间: 2012-06-19 17:27
我的回复怎么没了？

我的意思是tcpdump抓包分析，看到底是卡到哪里了。

作者: 东方蜘蛛 时间: 2012-06-19 17:42

nimysun 发表于 2012-06-19 17:27
我的回复怎么没了？

我的意思是tcpdump抓包分析，看到底是卡到哪里了。

lz发了2个帖子

作者: justin8204 时间: 2012-06-20 00:38
把挂载用的一些选项贴出来看看。

作者: javapjl 时间: 2012-06-20 09:12
我很想知道 nimysun 的回复，能再发一遍吗

作者: javapjl 时间: 2012-06-20 09:14
挂载是写在一个脚本文件中的，很简单

mount 192.168.1.90:/xx /data1
mount 192.168.1.90:/xxx/yy /data2
mount 192.168.1.90:/xxx/yyyy /data3
mount 192.168.1.90:/xxx/yyyy /data4
mount 192.168.1.90:/xxxx/yyy /load1
mount 192.168.1.90:/xx/yy /load2
mount 192.168.1.90:/xxx/yyyy /load3

作者: doging 时间: 2012-06-20 10:39

nimysun 发表于 2012-06-19 17:27
我的回复怎么没了？

我的意思是tcpdump抓包分析，看到底是卡到哪里了。

关注中

作者: hanchaohang 时间: 2012-06-20 11:17
你不是说你的df -h输出很慢吗，先解决这个问题吧。
#truss -af -t open,read,write,exec df -h

执行这个命令的时候，同时打开另外一个telnet窗口，用你上面的snoop包监听网络信息。

作者: javapjl 时间: 2012-06-20 13:12
多谢 hanchaohang，我正在按你的方法试，

补充一点，我的df - h 输出很慢，但最终还是有结果：

NFS server not response ,still trying

作者: javapjl 时间: 2012-06-20 13:14
然后再等很久，貌似 mount上了，报一个 nfs ok

但实际去访问存储仍然非常慢

作者: javapjl 时间: 2012-06-20 13:22
truss -af -t open,read,write,exec df -h
下面是输出结果，但truss 就好像卡住不动了，,我需要挂载的几个仍然无法显示。

27982: execve("/usr/sbin/df", 0xFFBFDA5C, 0xFFBFDA6

  argc = 2
27982: argv: df -h
27982:  open("/var/ld/ld.config", O_RDONLY)          Err#2 ENOENT
27982:  open("/usr/lib/libcmd.so.1", O_RDONLY)       = 3
27982:  open("/usr/lib/libc.so.1", O_RDONLY)          = 3
27982:  open("/platform/SUNW,SPARC-Enterprise/lib/libc_psr.so.1", O_RDONLY) = 3
27982:  open("/etc/mnttab", O_RDONLY)                = 3
Filesystem          size used  avail capacity  Mounted on
27982:  write(1, " F i l e s y s t e m ".., 63)    = 63
/dev/md/dsk/d0       20G 7.5G 12G 39% /
27982:  write(1, " / d e v / m d / d s k /".., 54)    = 54
/devices                0K    0K    0K    0% /devices
27982:  write(1, " / d e v i c e s       ".., 61)    = 61
ctfs                   0K    0K    0K    0% /system/contract
27982:  write(1, " c t f s             ".., 69)    = 69
proc                   0K    0K    0K    0% /proc
27982:  write(1, " p r o c             ".., 5

   = 58
mnttab                0K    0K    0K    0% /etc/mnttab
27982:  write(1, " m n t t a b          ".., 64)    = 64
swap                108G 1.9M 108G    1% /etc/svc/volatile
27982:  write(1, " s w a p             ".., 70)    = 70
objfs                   0K    0K    0K    0% /system/object
27982:  write(1, " o b j f s             ".., 67)    = 67
sharefs                0K    0K    0K    0% /etc/dfs/sharetab
27982:  write(1, " s h a r e f s       ".., 70)    = 70
/dev/md/dsk/d20       9.9G 3.9G 5.8G 41% /usr
27982:  write(1, " / d e v / m d / d s k /".., 57)    = 57
fd                      0K    0K    0K    0% /dev/fd
27982:  write(1, " f d                   ".., 60)    = 60
swap                108G 984K 108G    1% /tmp
27982:  write(1, " s w a p             ".., 57)    = 57
swap                108G 88K 108G    1% /var/run
27982:  write(1, " s w a p             ".., 61)    = 61
/dev/md/dsk/d40       42G 1.1G 41G    3% /export/home
27982:  write(1, " / d e v / m d / d s k /".., 65)    = 65
/dev/dsk/c5t6006016008D028000D9C3D7B9120E111d0s6
27982:  write(1, " / d e v / d s k / c 5 t".., 49)    = 49
                     1.6T 337M 1.6T    1% /datadir2
27982:  write(1, "                      ".., 60)    = 60
/dev/dsk/c5t6006016008D02800415CA8999120E111d0s6
27982:  write(1, " / d e v / d s k / c 5 t".., 49)    = 49
                     1.6T 402M 1.6T    1% /datadir4
27982:  write(1, "                      ".., 60)    = 60
/dev/dsk/c5t600508B4000D1C230000400000350000d0s5
27982:  write(1, " / d e v / d s k / c 5 t".., 49)    = 49
                     822G 453G 361G 56% /appdir1
27982:  write(1, "                      ".., 63)    = 63
/dev/dsk/c5t6006016008D028000C9C3D7B9120E111d0s6
27982:  write(1, " / d e v / d s k / c 5 t".., 49)    = 49
                     1.6T 484M 1.6T    1% /datadir1
27982:  write(1, "                      ".., 60)    = 60
/dev/dsk/c5t6006016008D02800405CA8999120E111d0s6
27982:  write(1, " / d e v / d s k / c 5 t".., 49)    = 49
                     1.6T 329M 1.6T    1% /datadir3
27982:  write(1, "                      ".., 60)    = 60
/dev/dsk/c5t600508B4000D1C230000400000350000d0s6
27982:  write(1, " / d e v / d s k / c 5 t".., 49)    = 49
                     1.0T 65G 949G    7% /appdir
27982:  write(1, "                      ".., 62)    = 62

作者: javapjl 时间: 2012-06-20 13:25
同时在另一个 term中执行 snoop

# snoop 192.168.1.70 192.168.1.90
Using device bge2 (promiscuous mode)
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236612302 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236613762 Seq=701785417 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236613762 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236615222 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236616682 Seq=701785417 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236616682 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236618142 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236619602 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236621062 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236619602 Seq=701785417 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236622522 Seq=701785417 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236622522 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236623982 Seq=701785417 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236623982 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236625442 Seq=701785417 Len=0 Win=49640
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=74B4 at 81821696 for 32768
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236625442 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785417 Seq=4236626902 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236628362 Seq=701785541 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236628362 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236629822 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236631282 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236632742 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236631282 Seq=701785541 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236634202 Seq=701785541 Len=0 Win=48180
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=61D1 at 33259520 for 32768
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236641104 Len=0 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236634202 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236635662 Seq=701785665 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236635662 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236637122 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236638582 Seq=701785665 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236638582 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236640042 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236641502 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236642962 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236641502 Seq=701785665 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236644422 Seq=701785665 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236644422 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236645882 Seq=701785665 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236651324 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236645882 Seq=701785665 Len=0 Win=49640 Options=<nop,nop,sack 4236651324-4236652784>
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236645882 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236647342 Seq=701785665 Len=0 Win=49640 Options=<nop,nop,sack 4236651324-4236652784>
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236647342 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236648802 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236648802 Seq=701785665 Len=0 Win=49640 Options=<nop,nop,sack 4236651324-4236652784>
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236650262 Seq=701785665 Len=0 Win=49640 Options=<nop,nop,sack 4236651324-4236652784>
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236650262 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236652784 Len=398 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236653182 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236654642 Len=668 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236652784 Seq=701785665 Len=0 Win=49640
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236654642 Seq=701785665 Len=0 Win=47782
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236655310 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236656770 Seq=701785665 Len=0 Win=45654
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236656770 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236658230 Seq=701785665 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236658230 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236659690 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236661150 Seq=701785665 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236661150 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236662610 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236664070 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236665530 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236664070 Seq=701785665 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236666990 Seq=701785665 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785665 Seq=4236666990 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=D1BE at 44793856 for 32768
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=D1BE at 44793856 for 32768 (retransmit)
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785789 Seq=4236675842 Len=0 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785789 Seq=4236668450 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236669910 Seq=701785789 Len=0 Win=49640
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=84A2 at 15040512 for 32768
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785789 Seq=4236669910 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785789 Seq=4236671370 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236672830 Seq=701785913 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236672830 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236674290 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236675750 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236677210 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236675750 Seq=701785913 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236678670 Seq=701785913 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236678670 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236680130 Seq=701785913 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236680130 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236681590 Seq=701785913 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236681590 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236683050 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236684510 Seq=701785913 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236684510 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236685970 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236687430 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236688890 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236687430 Seq=701785913 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236690350 Seq=701785913 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236690350 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236691810 Seq=701785913 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236691810 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236693270 Seq=701785913 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236693270 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236694730 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236696190 Seq=701785913 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236696190 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236697650 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236699110 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785913 Seq=4236700570 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236699110 Seq=701785913 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236702030 Seq=701785913 Len=0 Win=48180
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=968B at 26640384 for 32768
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=968B at 26640384 for 32768 (retransmit)
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786037 Seq=4236708932 Len=0 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786037 Seq=4236702030 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236703490 Seq=701786037 Len=0 Win=49640
192.168.1.70 -> 192.168.1.90 NFS C READ3 FH=E0F0 at 31916032 for 32768
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786037 Seq=4236703490 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786037 Seq=4236704950 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236706410 Seq=701786161 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236706410 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236707870 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236709330 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236710790 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236709330 Seq=701786161 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236712250 Seq=701786161 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236712250 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236713710 Seq=701786161 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236713710 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236715170 Seq=701786161 Len=0 Win=49640
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236715170 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236716630 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236718090 Seq=701786161 Len=0 Win=46720
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236718090 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236719550 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236721010 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236722470 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236721010 Seq=701786161 Len=0 Win=43800
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236723930 Seq=701786161 Len=0 Win=48180
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701786161 Seq=4236723930 Len=1460 Win=12288
192.168.1.70 -> 192.168.1.90 TCP D=2049 S=639 Ack=4236725390 Seq=701786161 Len=0 Win=49640

作者: javapjl 时间: 2012-06-20 13:27
执行 df -h 时报这个

FS server 192.168.1.90 not responding still trying
NFS server 192.168.1.90 ok

其中 192.168.1.90 是 emc 存储的地址（nas）

作者: javapjl 时间: 2012-06-20 13:40
下面是 df -h 的完整输出，红色部分输出显示非常慢

Filesystem          size used  avail capacity  Mounted on
/dev/md/dsk/d0       20G 7.5G 12G 39% /
/devices                0K    0K    0K    0% /devices
ctfs                   0K    0K    0K    0% /system/contract
proc                   0K    0K    0K    0% /proc
mnttab                0K    0K    0K    0% /etc/mnttab
swap                108G 1.9M 108G    1% /etc/svc/volatile
objfs                   0K    0K    0K    0% /system/object
sharefs                0K    0K    0K    0% /etc/dfs/sharetab
/dev/md/dsk/d20       9.9G 3.9G 5.8G 41% /usr
fd                      0K    0K    0K    0% /dev/fd
swap                108G 984K 108G    1% /tmp
swap                108G 88K 108G    1% /var/run
/dev/md/dsk/d40       42G 1.1G 41G    3% /export/home
/dev/dsk/c5t6006016008D028000D9C3D7B9120E111d0s6
                     1.6T 337M 1.6T    1% /backup2
/dev/dsk/c5t6006016008D02800415CA8999120E111d0s6
                     1.6T 402M 1.6T    1% /backup4
/dev/dsk/c5t600508B4000D1C230000400000350000d0s5
                     822G 453G 361G 56% /appdir1
/dev/dsk/c5t6006016008D028000C9C3D7B9120E111d0s6
                     1.6T 484M 1.6T    1% /backup1
/dev/dsk/c5t6006016008D02800405CA8999120E111d0s6
                     1.6T 329M 1.6T    1% /backup3
/dev/dsk/c5t600508B4000D1C230000400000350000d0s6
                     1.0T 65G 949G    7% /appdir
NFS server 192.168.1.90 not responding still trying
NFS server 192.168.1.90 ok
192.168.1.90:/data1    6.9T 5.3T 1.6T 77% /appdir/dtl/data1
NFS server 192.168.1.90 not responding still trying
NFS server 192.168.1.90 ok
192.168.1.90:/data2    16T 847G 15T    6% /appdir/dtl/data2
NFS server 192.168.1.90 not responding still trying
NFS server 192.168.1.90 ok
192.168.1.90:/data3 1.2T 179G 1.1T 14% /appdir/dtl/data3

作者: minechina 时间: 2012-06-20 14:11
ping -f -s 1500 192.168.1.90看看报什么错

作者: javapjl 时间: 2012-06-20 16:01
root@m5000 # ping -f -s 1500 192.168.1.90
ping: illegal option -- f
usage: ping host [timeout]
usage: ping -s [-l | U] [adLnRrv] [-A addr_family] [-c traffic_class]
[-g gateway [-g gateway ...]] [-F flow_label] [-I interval]
[-i interface] [-P tos] [-p port] [-t ttl] host [data_size] [npackets]

作者: javapjl 时间: 2012-06-20 17:02
谢谢各位的帮助和指点，solaris 我只了解很少，我还是请个现场的solaris 工程师来，有结果我会发在这里的，

谢谢大家的帮助

作者: hanchaohang 时间: 2012-06-21 08:44
从抓包结果来看，大部分的数据是从90流向70，但每个数据包要分几次来转送，比如

作者: hanchaohang 时间: 2012-06-21 08:46
从抓包结果来看，大部分的数据是从90流向70，但每个数据包要分几次来转送，比如
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236628362 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236629822 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236631282 Len=1460 Win=12288
192.168.1.90 -> 192.168.1.70 TCP D=639 S=2049 Ack=701785541 Seq=4236632742 Len=1460 Win=12288

我建议，你可以尝试下把MTU值调大一些。存储和主机的MTU值一起调。比如都调成8000. 增加一次传送的数据，减少握手次数。

作者: minechina 时间: 2012-06-21 14:02

javapjl 发表于 2012-06-20 16:01
root@m5000 # ping -f -s 1500 192.168.1.90
ping: illegal option -- f
usage: ping host [timeout]

在solaris上面的语法我忘了是什么，我那个语法是在windows上面的，判断MTU值不是不匹配，我估计是MTU值的问题，不是把MTU值调大，而是要调小。先调solaris的，如果不行，再调存储上面的。

作者: hanchaohang 时间: 2012-06-21 14:52
你现在需要做的是把存储的MTU值调大一些，让一次数据传送能携带更多的数据量。solaris也得跟着调，如果存储一次发送很多数据，而接受端无法接受，会造成数据根本无法传送成功。这种现象很类似于ping，用1500去ping对方主机，会发现ping不通。
一般我们的网卡MTU是1500，但这包含了IP头等很多信息，实际只能传送数据部分是1472。例如你可以用ping -f -l 1472 <gateway_ip> 和ping -f -l 1500 <gateway_ip> 来比较不同。
我估计大文件就会遇到这样的问题。如果文件过大，而网络一次携带的数据量较小，会造成网络负载严重。你看下面这几个，已经使用的空间都比较大。5.3T， 847G， 179G。
NFS server 192.168.1.90 not responding still trying
NFS server 192.168.1.90 ok
192.168.1.90:/data1 6.9T 5.3T 1.6T 77% /appdir/dtl/data1
NFS server 192.168.1.90 not responding still trying
NFS server 192.168.1.90 ok
192.168.1.90:/data2 16T 847G 15T 6% /appdir/dtl/data2
NFS server 192.168.1.90 not responding still trying
NFS server 192.168.1.90 ok
192.168.1.90:/data3 1.2T 179G 1.1T 14% /appdir/dtl/data3

作者: YEJJ 时间: 2012-06-24 02:17
回复 2# javapjl

有可能是超级多的磁盘碎片影响了性能

作者: javapjl 时间: 2012-06-25 10:55
如果是网络的 Mtu引起的，那为什么需要应用系统运行一段时间后才出现很慢的现象，

难道不是系统已启动就会出问题？磁盘碎片也一样

作者: javapjl 时间: 2012-06-25 10:56
而且这一段时间往往就是三四周左右，有时候作ETL有时候不做

作者: houfengOK 时间: 2012-06-26 10:51
EMC阵列，solaris系统本地是否安装有多路径软件？

作者: chky123 时间: 2012-06-27 12:15
检查和确认一下是否是NFS版本问题，Solaris 10默认是使用NFS 4，确认一下EMC存储端是使用哪个版本的NFS，服务端和客户端最好能使用相同的版本。

作者: thanksharp 时间: 2012-06-27 19:27
一台sun solaris 主机, 一台 hp linux 安腾小机 2660 ，一台 emc nas 存储。

两台小机都通过 nfs 方式连接到 emc 的同一空间，当然是通过不同的ip挂载（mount）上的。

---个人之见，如果存储有问题，LINUX主机也要出问题，因此排除法，问题肯定在solaris的配置上。

作者: stevenyj 时间: 2012-06-29 22:15
同意 chky123 童鞋的解，需要检查nfs版本，mount nfs 时指定version

我和aix间用nfs挂接时遇到相似问题，就是这样搞定

作者: anakin81 时间: 2012-06-30 18:53
回复 2# javapjl

我对solaris的看法不用比较好。
我在这个公司18 个月了， HPUX没有出现死机过。我有些oracle database是2TB以上的。

自从公司转换去solaris过后，我的噩梦就开始了。
solaris已经发生很多次自己panic。 oracle给我的回复就是bug，要打补丁。
最不给力的是我有几台cluster也是在CPU低于5%下死机。那个机器的Database才那么30GB的小。也没有什么人用的。

solaris 10从2005到现在还是一直打补丁。这个系统的稳定性让我质疑。
每次oracle给我的答案就是打补丁。公司管理层已经对solaris失去希望，已经决定会1年后使用RHEL。

作者: anakin81 时间: 2012-06-30 18:55

chky123 发表于 2012-06-27 12:15
检查和确认一下是否是NFS版本问题，Solaris 10默认是使用NFS 4，确认一下EMC存储端是使用哪个版本的NFS，服 ...

不是3吗？？？

作者: xzcsiwh 时间: 2012-07-03 09:25
你参考一下 http://blog.e-unix.net/2010/10/dtrace-nas-nfs-performance.html

作者: love2006 时间: 2012-07-03 12:24
我觉得应该是soraries的nfs client软件的问题，不是网络的问题，也许开发不能跟上nfs server版本进度，毕竟nfs client是闭源的，nfs 开源开发一日千里。
可以在soralies安装开源的nfs client,而不用soralies自带的版本哦。不过这样你可能又不乐意用solaries了。
人家solaris nfs客户端连接自己的nfs server肯定没问题，因而你请来soralis专家估计也没用，他只能解决自己份内事情

作者: minechina 时间: 2012-07-04 06:13
楼主问题解决了吗，怎么没有后继消息了？

作者: javapjl 时间: 2012-09-10 10:45
多谢各位的关照和帮助，经过一段时间的测试，我感觉问题已经解决了，很可能是 nfs server clent 版本的问题。

正如 love2006 所提到的，但不是不能跟上nfs server版本进度，而是客户端的版本太高（version 4），服务器端 ver3

再次感谢大家的热情帮助。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)