论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2009-04-13 22:18 |只看该作者 |倒序浏览

我在 Dell PE1850 上用 OpenSolaris 的 ZFS，提供 NFS 服务，性能只有 DIY 的 PC 机的1/10，是否是 OpenSolaris 对老机器支持的不是很好？

两机都是通过另两台 PE1850 上的 Gentoo 来作测试机来测试，这些机器都接在同一台Dell 2716 千兆交换机上。

PE1850 上，双 10K 的 SCSI U 320 的硬盘作成 mirror 的 zpool，用 dd if=/dev/zero bs=1MB 写入到 ZFS 上，只有 10~20MBytes/s 的速率。

Core2 + G31芯片 + 双 SATA 160G 硬盘作成 mirrot 的 zpool，用 dd if=/dev/zero bs=1MB 写入到 ZFS 上，却有 40~50MByes/s 的速率。

另外，用一台 GentooLinux 跑 svnserver，挂载以上机器提供的 NFS资源作为 svnserver 的数据源 (近乎1GB的源代码库)，用另外一台 PE1850 上的 gentoo  里的 svn 作 checkout 到本地的 reiserfs：

PE1850 提供 NFS 资源时，作 checkout 耗时 30 多分钟。
DIY PC 提供 NFS 资源是，作 checkout 耗时在 4 分钟以内。

PE1850 的 zpool
likuku@opensolaris-1850:~$ zpool status
  pool: rpool
state: ONLINE
scrub: resilver completed after 2h6m with 0 errors on Fri Apr 10 16:09:18 2009
config:

      NAME       STATE    READ WRITE CKSUM
      rpool       ONLINE    0    0    0
      mirror    ONLINE    0    0    0
         c3t0d0s0  ONLINE    0    0    0  27.8M resilvered
         c3t1d0s0  ONLINE    0    0    0  6.73G resilvered

PE 的本地 dd 测试：
http://bbs2.chinaunix.net/viewth ... ;page=1#pid10383645
PE 的 NFS 服务 + svn check on other PE Gentoo 测试：
http://bbs2.chinaunix.net/viewth ... ;page=2#pid10384566

#################################################################
PC 的 zpool
likuku@opensolaris:~$ zpool status
  pool: rpool
state: ONLINE
scrub: scrub in progress for 27h33m, 100.00% done, 0h0m to go
config:

      NAME       STATE    READ WRITE CKSUM
      rpool    ONLINE    0    0    0
      mirror ONLINE    0    0    0
         c3d0s0  ONLINE    0    0    0
         c3d1s0  ONLINE    0    0    0

errors: No known data errors

PC 的本地 dd 测试：
http://bbs2.chinaunix.net/viewth ... ;page=1#pid10383645
PC 的 NFS 服务 + svn check on other PE Gentoo 测试：
http://bbs2.chinaunix.net/viewth ... ;page=2#pid10384566

[ 本帖最后由 likuku 于 2009-4-14 20:07 编辑 ]

评分

参与人数 1	可用积分 +3	收起理由
yuhuohu	+ 3	我很赞同

查看全部评分

文库|博客

yuhuohu

荣誉版主

论坛徽章:: 0

2楼 [报告]

发表于 2009-04-14 09:19 |只看该作者

关注

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

race

广告杀手

论坛徽章:: 0

3楼 [报告]

发表于 2009-04-14 09:34 |只看该作者

40M是正常。
PE1850的MIRROR拆掉，读写性能优可能上去。实际使用中发现小机带自带硬盘做镜像，磁盘性能下降很多。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

likuku

小富即安

论坛徽章:: 0

4楼 [报告]

发表于 2009-04-14 10:33 |只看该作者

原帖由 race 于 2009-4-14 09:34 发表
40M是正常。
PE1850的MIRROR拆掉，读写性能优可能上去。实际使用中发现小机带自带硬盘做镜像，磁盘性能下降很多。

以下是我在 PE1850 上使用干净系统，单块硬盘，无硬件/软件 mirror，确实本地 ZFS 快了，但不是很稳定。

likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 10.4896 s, 191 MB/s
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test1
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 160.271 s, 12.5 MB/s
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test2
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 30.6989 s, 65.1 MB/s
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test3
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 28.3584 s, 70.5 MB/s
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test4
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 182.833 s, 10.9 MB/s
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test5
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 25.3385 s, 78.9 MB/s
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 33.5858 s, 59.5 MB/s
likuku@opensolaris-1850:~$ rm test
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 31.9978 s, 62.5 MB/s
likuku@opensolaris-1850:~$ rm test
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 31.8437 s, 62.8 MB/s
likuku@opensolaris-1850:~$ rm test
likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=test
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 31.5868 s, 63.3 MB/s

可是，作为 NFS 资源，被 svnserver 使用，从 PE1850 的 svn client 端 check out 到本地的 reiserfs 时依旧缓慢，15 分钟时我 Ctrl + C 强制关掉了。

[ 本帖最后由 likuku 于 2009-4-14 10:36 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

li_hunter

家境小康

论坛徽章:: 0

5楼 [报告]

发表于 2009-04-14 10:35 |只看该作者

对于zpool写入问题，能不能在dd时在两台机上分别给个iostat -xnc 2 60的输出看看啊？

对于checkout，能不能也给个iostat -xnc 2 60的输出，外加dladm show-dev的输出。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

likuku

小富即安

论坛徽章:: 0

6楼 [报告]

发表于 2009-04-14 10:36 |只看该作者

原帖由 li_hunter 于 2009-4-14 10:35 发表
对于zpool写入问题，能不能在dd时在两台机上分别给个iostat -xnc 2 60的输出看看啊？

对于checkout，能不能也给个iostat -xnc 2 60的输出，外加dladm show-dev的输出。

稍候

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

yuhuohu

荣誉版主

论坛徽章:: 0

7楼 [报告]

发表于 2009-04-14 10:56 |只看该作者

继续关注

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

山野村夫

版主

论坛徽章:: 2

8楼 [报告]

发表于 2009-04-14 11:01 |只看该作者

关注

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

likuku

小富即安

论坛徽章:: 0

9楼 [报告]

发表于 2009-04-14 11:13 |只看该作者

ZFS 本地 dd 测试：

PE-1850 mirror

iostat -xnc 2 60

likuku@opensolaris-1850:~$ dd if=/dev/zero bs=1MB count=2000 of=/rpool/nfs/tmp/test
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 42.5149 s, 47.0 MB/s

                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  360.5 0.0 46139.8 32.0  3.0 88.8 8.3 100 100 c3t0d0
0.0  470.5 0.0 60218.5 32.0  3.0 68.0 6.4 100 100 c3t1d0
   cpu
us sy wt id
  0  1  0 99
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  392.5 0.0 50242.4 32.0  3.0 81.5 7.6 100 100 c3t0d0
0.0  237.0 0.0 30232.2 25.7  2.5  108.3 10.6  81  89 c3t1d0
   cpu
us sy wt id
  0 20  0 80
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  220.0 0.0 24518.8 21.6  2.1 98.2 9.5  68  71 c3t0d0
0.0  180.0 0.0 19626.3 11.4  1.1 63.3 6.0  36  36 c3t1d0
   cpu
us sy wt id
  0  2  0 98
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  385.0 0.0 49279.2 32.0  3.0 83.1 7.8 100 100 c3t0d0
0.0  372.5 0.0 47679.3 32.0  3.0 85.9 8.0 100 100 c3t1d0
   cpu
us sy wt id
  0  2  0 98
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  462.0 0.0 59135.9 32.0  3.0 69.3 6.5 100 100 c3t0d0
0.0  321.0 0.0 41087.9 32.0  3.0 99.7 9.3 100 100 c3t1d0
   cpu
us sy wt id
  0  2  0 98
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  377.0 0.0 48255.8 32.0  3.0 84.9 7.9 100 100 c3t0d0
0.0  321.0 0.0 41087.9 32.0  3.0 99.7 9.3 100 100 c3t1d0
   cpu
us sy wt id
  0  2  0 98
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  387.5 0.0 49600.9 32.0  3.0 82.6 7.7 100 100 c3t0d0
0.0  356.5 0.0 45632.9 32.0  3.0 89.7 8.4 100 100 c3t1d0
   cpu
us sy wt id
  0  2  0 98
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0 0.0 0.0 0.0  0.0  0.0 0.0 0.0 0 0 c4t0d0
0.0  272.5 0.0 34880.2 25.6  2.6 94.1 9.4  80  90 c3t0d0
0.0  448.5 0.0 57408.3 31.5  3.0 70.2 6.7 100 100 c3t1d0

PC 的
iostat -xnc 2 60

likuku@opensolaris:~$ dd if=/dev/zero bs=1MB count=2000 of=/rpool/nfs/tmp/test
2000+0 records in
2000+0 records out
2000000000 bytes (2.0 GB) copied, 41.4802 s, 48.2 MB/s

                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0  337.5 0.0 43199.4 33.0  2.0 97.7 5.9 100 100 c3d0
0.0  337.0 0.0 43135.4 33.0  2.0 97.9 5.9 100 100 c3d1
   cpu
us sy wt id
  0  3  0 96
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0  329.5 0.0 42179.6 33.0  2.0  100.1 6.1 100 100 c3d0
0.0  330.0 0.0 42243.6 33.0  2.0  100.0 6.1 100 100 c3d1
   cpu
us sy wt id
  0  4  0 96
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
  143.0  288.0 1892.0 36815.2 28.6  2.0 66.4 4.6 100 100 c3d0
  143.0  288.0 1856.0 36815.2 29.2  2.0 67.7 4.6 100 100 c3d1
   cpu
us sy wt id
  0 20  0 80
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
  639.0  222.5 5555.1 22199.8 14.3  1.7 16.6 2.0  80  92 c3d0
  646.5  221.0 5591.1 22199.8 19.4  1.8 22.3 2.1  81  97 c3d1
   cpu
us sy wt id
  0  4  0 96
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0  372.5 0.0 47677.3 33.0  2.0 88.6 5.4 100 100 c3d0
0.0  372.0 0.0 47613.4 33.0  2.0 88.7 5.4 100 100 c3d1
   cpu
us sy wt id
  0  3  0 97
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0  338.5 0.0 43228.7 33.0  2.0 97.5 5.9 100 100 c3d0
0.0  339.0 0.0 43292.7 33.0  2.0 97.3 5.9 100 100 c3d1
   cpu
us sy wt id
  0  9  0 90
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
  457.8  146.0 5893.8 15315.1 15.0  1.9 24.8 3.1  88  98 c3d0
  457.8  145.1 5893.8 15315.1 15.8  1.9 26.2 3.1  89  99 c3d1
   cpu
us sy wt id
  0  6  0 94
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0  378.4 0.0 48375.8 32.9  2.0 87.0 5.3 100 100 c3d0
0.0  378.4 0.0 48375.8 32.9  2.0 87.0 5.3 100 100 c3d1
   cpu
us sy wt id
  0  3  0 97
                  extended device statistics
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t  %w  %b device
0.0  340.0 0.0 43520.7 33.0  2.0 97.0 5.9 100 100 c3d0
0.0  340.0 0.0 43520.7 33.0  2.0 97.0 5.9 100 100 c3d1

[ 本帖最后由 likuku 于 2009-4-14 11:21 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

likuku

小富即安

论坛徽章:: 0

10楼 [报告]

发表于 2009-04-14 11:16 |只看该作者

诡异了，今天本地测试似乎是正常了。

NFS 的我需要恢复 PE-1850 上的测试环境，得等一会了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 3 / 3 页下一页

返回列表

Chinaunix › 论坛 › 操作系统 › Solaris › OpenSolaris2008.11 在 Dell1850上的NFS只有DIY的PC的1/ ...

OpenSolaris2008.11 在 Dell1850上的NFS只有DIY的PC的1/10，为何？ [复制链接]

评分

浏览过的版块