Chinaunix

标题: 感觉阵列的存储性能有点低，老大们看看怎么回事 [打印本页]
作者: yuio654    时间: 2008-12-23 11:23
标题: 感觉阵列的存储性能有点低，老大们看看怎么回事
先介绍一下大概情况：
阵列是emc的cx-310，全光纤盘，与主机连接用的是4g的光纤通道卡，做的raid5


机器是IBM System x3650(7979B9C)
http://detail.zol.com.cn/135/134602/param.shtml

服务器的硬盘是SAS盘
操作系统是centos5.2，文件系统是ext3

[root@shisl2 ~]# uname -a
Linux shisl2 2.6.18-92.1.18.el5 #1 SMP Wed Nov 12 09:19:49 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
[root@shisl2 ~]# more /etc/redhat-release
CentOS release 5.2 (Final)


下边是用dd测出来的速度（偶尔会更低）：

sda是本机sas盘
sda

写
dd if=/dev/zero of=/app1/test/dd.log

 # dd if=/dev/zero of=/app1/test/dd.log

1975913+0 records in
1975912+0 records out
1011666944 bytes (1.0 GB) copied, 15.0658 seconds, 67.1 MB/s



读
dd if=/app1/test/dd.log of=/dev/null

 # dd if=/app1/test/dd.log of=/dev/null

1975912+0 records in
1975912+0 records out
1011666944 bytes (1.0 GB) copied, 6.53719 seconds, 155 MB/s



读写
dd if=/app1/test/dd.log of=/app1/test/dd2.log

 # dd if=/app1/test/dd.log of=/app1/test/dd2.log

1975912+0 records in
1975912+0 records out
1011666944 bytes (1.0 GB) copied, 17.1978 seconds, 58.8 MB/s

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
阵列

/home/sakai/mount/bak
写
dd if=/dev/zero of=/home/sakai/mount/bak/dd.log

# dd if=/dev/zero of=/home/sakai/mount/bak/dd.log

3544417+0 records in
3544417+0 records out
1814741504 bytes (1.8 GB) copied, 24.3567 seconds, 74.5 MB/s

读
dd if=/home/sakai/mount/bak/dd.log of=/dev/null

# dd if=/home/sakai/mount/bak/dd.log of=/dev/null

3544417+0 records in
3544417+0 records out
1814741504 bytes (1.8 GB) copied, 11.9376 seconds, 152 MB/s


读写
dd if=/home/sakai/mount/bak/dd.log of=/home/sakai/mount/bak/dd2.log

# dd if=/home/sakai/mount/bak/dd.log of=/home/sakai/mount/bak/dd2.log

3544417+0 records in
3544417+0 records out
1814741504 bytes (1.8 GB) copied, 26.4129 seconds, 68.7 MB/s
作者: yuio654    时间: 2008-12-23 11:44
原帖由 yuio654 于 2008-12-23 11:23 发表
先介绍一下大概情况：
阵列是emc的cx-310，全光纤盘，与主机连接用的是4g的光纤通道卡，做的raid5


机器是IBM System x3650(7979B9C)
http://detail.zol.com.cn/135/134602/param.shtml

服务器的硬盘是 ...



郁闷的是在一个联想的pc上，用ubuntu竟然读到了500多m，远远超过了ibm服务器。反复测了很多次都非常快


  2. # lspci
  3. 00:00.0 Host bridge: Intel Corporation 5000P Chipset Memory Controller Hub (rev b1)
  4. 00:02.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 2 (rev b1)
  5. 00:03.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 3 (rev b1)
  6. 00:04.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 4-5 (rev b1)
  7. 00:05.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 5 (rev b1)
  8. 00:06.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 6-7 (rev b1)
  9. 00:07.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 7 (rev b1)
  10. 00:08.0 System peripheral: Intel Corporation 5000 Series Chipset DMA Engine (rev b1)
  11. 00:10.0 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
  12. 00:10.1 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
  13. 00:10.2 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
  14. 00:11.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1)
  15. 00:13.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1)
  16. 00:15.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1)
  17. 00:16.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1)
  18. 00:1c.0 PCI bridge: Intel Corporation 631xESB/632xESB/3100 Chipset PCI Express Root Port 1 (rev 09)
  19. 00:1c.1 PCI bridge: Intel Corporation 631xESB/632xESB/3100 Chipset PCI Express Root Port 2 (rev 09)
  20. 00:1d.0 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #1 (rev 09)
  21. 00:1d.1 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #2 (rev 09)
  22. 00:1d.2 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #3 (rev 09)
  23. 00:1d.3 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #4 (rev 09)
  24. 00:1d.7 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset EHCI USB2 Controller (rev 09)
  25. 00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev d9)
  26. 00:1f.0 ISA bridge: Intel Corporation 631xESB/632xESB/3100 Chipset LPC Interface Controller (rev 09)
  27. 00:1f.2 IDE interface: Intel Corporation 631xESB/632xESB/3100 Chipset SATA IDE Controller (rev 09)
  28. 00:1f.3 SMBus: Intel Corporation 631xESB/632xESB/3100 Chipset SMBus Controller (rev 09)
  29. 01:06.0 VGA compatible controller: ATI Technologies Inc ES1000 (rev 02)
  30. 02:00.0 PCI bridge: Broadcom EPB PCI-Express to PCI-X Bridge (rev c3)
  31. 03:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet (rev 12)
  32. 04:00.0 RAID bus controller: Adaptec AAC-RAID (Rocket) (rev 02)
  33. 05:00.0 PCI bridge: Broadcom EPB PCI-Express to PCI-X Bridge (rev c3)
  34. 06:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet (rev 12)
  35. 07:00.0 Fibre Channel: QLogic Corp. ISP2432-based 4Gb Fibre Channel to PCI Express HBA (rev 03)
  36. 1a:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Upstream Port (rev 01)
  37. 1a:00.3 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express to PCI-X Bridge (rev 01)
  38. 1b:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E1 (rev 01)
  39. 1b:01.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E2 (rev 01)
复制代码

[ 本帖最后由 yuio654 于 2008-12-23 11:46 编辑 ]
作者: yuio654    时间: 2008-12-23 12:56
中午了，大家都在休息吗？
作者: shahand    时间: 2008-12-23 13:26
如果不用文件系统呢？
作者: oncb    时间: 2008-12-23 13:50
不懂，帮顶。
作者: mike79    时间: 2008-12-23 13:58
用裸设备读写进行比较，不要用文件系统
如果是跑oracle数据库的话，用orion来进行测试
作者: 月中井    时间: 2008-12-23 13:59
不做文件系统，直接读裸设备看是多少？
作者: ga0feng    时间: 2008-12-23 14:46
几块盘组成的RAID5？
难道阵列的cache是write-through?
作者: ops    时间: 2008-12-23 14:48
联想的pc是台式机么？1块盘？500m不可能。
另外你看看cx3的缓存打开了么？这个是很影响性能的
作者: yuio654    时间: 2008-12-23 15:16
原帖由 ops 于 2008-12-23 14:48 发表
联想的pc是台式机么？1块盘？500m不可能。
另外你看看cx3的缓存打开了么？这个是很影响性能的



联想的pc是个台式机，买的时间不长，
dd if=/bak/sdb/test_dd/test.log of=/dev/null
3941988+0 records in
3941988+0 records out
2018297856 bytes (2.0 GB) copied, 3.54748 seconds, 569 MB/s


cx3的缓存打开了，读写3/7


raid5一共是11块盘，其中一块是 hot spare


不用文件系统不知道怎么测试，老大们指点一下

[ 本帖最后由 yuio654 于 2008-12-23 15:24 编辑 ]
作者: dahe_1984    时间: 2008-12-23 15:49
我也不清楚，关注！！
作者: dwin    时间: 2008-12-23 15:55
设备是否有过热的迹象?
作者: yuio654    时间: 2008-12-23 16:20
原帖由 dwin 于 2008-12-23 15:55 发表
设备是否有过热的迹象?



从web界面看没有报警信息

不知道这个阵列理论读写到多少比较正常啊
作者: yuio654    时间: 2008-12-23 17:51
原帖由 yuio654 于 2008-12-23 16:20 发表



从web界面看没有报警信息

不知道这个阵列理论读写到多少比较正常啊



顶一下
作者: yangm63    时间: 2008-12-23 17:53
这个速度差不多了
作者: ga0feng    时间: 2008-12-23 18:45
楼上的,这个速度差多了
肯定有问题
作者: yangm63    时间: 2008-12-23 19:56
5个300，raid5，主机上再条带一次，才100MB左右
作者: yuio654    时间: 2008-12-23 23:13
原帖由 ga0feng 于 2008-12-23 18:45 发表
楼上的,这个速度差多了
肯定有问题



兄弟，速度能差多少呢？
作者: wuh1w    时间: 2008-12-25 09:33
原帖由 yuio654 于 2008-12-23 15:16 发表



联想的pc是个台式机，买的时间不长，
dd if=/bak/sdb/test_dd/test.log of=/dev/null
3941988+0 records in
3941988+0 records out
2018297856 bytes (2.0 GB) copied, 3.54748 seconds, 569 MB/s
...

不懂，不过提个问题：569MB/S，不是超过光纤的4g了？
作者: Superman2008    时间: 2008-12-25 12:58
dd有多大压力？
作者: yuio654    时间: 2008-12-25 21:55
原帖由 wuh1w 于 2008-12-25 09:33 发表

不懂，不过提个问题：569MB/S，不是超过光纤的4g了？


联想的pc没有连到阵列上，直接本地sata盘用dd测试的，反复测了几次都是五六百m的速度，也是很纳闷，看这速度应该是从内存里读的
作者: G.Hydra    时间: 2008-12-26 01:05
569 MB/s * 8=4552Mb/s 我笔记本的双通道DDR2/667内存读取才5591Mb/s,你的PC真牛X
作者: ops    时间: 2008-12-26 09:34
再拿pc测一次写20G，就知道差距很大了
作者: camby    时间: 2008-12-26 17:59
原帖由 ops 于 2008-12-26 09:34 发表
再拿pc测一次写20G，就知道差距很大了

re
2G能看出来什么。。。估计他内存就2G了吧～
至少>2*内存～
作者: yuio654    时间: 2008-12-26 19:52
原帖由 camby 于 2008-12-26 17:59 发表

re
2G能看出来什么。。。估计他内存就2G了吧～
至少>2*内存～


不好意思了，pc内存是4个g的
作者: 冬瓜头    时间: 2008-12-28 10:07
呵呵，晕了，569MB速度显然是cache速度，既然读入的是fs文件，那么显然fs缓存在作祟。umount然后mount，然后在测试你就会发现根本没有500多M。。。

至于155MB每秒的速度，与很多因素有关，io调用方式，io size等，centos不熟悉，dd在linux下一般都是sync同步io调用，每次io size＝4k，此时除非同时运行多个dd，否则只一个dd，155MB速度也算是不错了！
作者: gaiyastone    时间: 2008-12-30 11:08
dd命令测试出来的性能和io size有很大关系，在windows下你不指定那么就按照ntfs的文件块大小作读写，速度慢似可能的，在这个过程中由于块大小的瓶颈压力所以看不出cache的影响。也就是直接就把数据写到了磁盘上（至少有这个时间写到磁盘）。
对于你用ubantu的测试我没弄清楚你采用什么文件系统，但能写出500多M的速度救你的设备而言肯定是cache的速度，你可以尝试把cache关闭再作写/读测试。
cx310跑出100M以内的性能那肯定是有问题的，你的raid组11块盘，应该说不算小了，尝试找找数据块IO size的问题也许会有发现。
通常为了测试实际的读写速率我们要采用大于cache的数据报，cache包括主机cache和存储的cache。我通常都是做至少存储cache的2倍。

此外冬瓜头 的建议也是很有用的，你可以通过多个dd最好多个不同主机同时压存储，可以大概得出存储的实际吞吐量

[ 本帖最后由 gaiyastone 于 2008-12-30 11:14 编辑 ]
作者: yidou    时间: 2009-01-05 19:02
你这个测试受很多因素影响， cache 大小、策略、数据块大小、文件系统、内存速度、SAS硬盘速度...
作者: yddll    时间: 2009-01-05 22:44
Clean File Cache
Linux 2.6.16 or newer：
# echo 3 > /proc/sys/vm/drop_caches



欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2