问个磁盘瓶颈问题？

chinaglwo

我是dell 1950+md1000跑文件下载服务器（linux系统），下载文件的80%都在md1000上，md1000是个15块sata 1T的硬盘(dell硬盘)raid5，目前下载文件用了1T左右的空间。1950是两个sas 300G raid1

以前没接md1000的时候还比较正常，自从接上md1000，把文件从本地磁盘(raid1)转移到md1000(raid5)上去后，现在好慢，负载高， cpu %wa高，磁盘IO高

后来查到是kjournald这个进程在写1950的本地硬盘sda，也就是不停的写ext3日志，而sdb也就是md1000的IO却不怎么高。

在下载高峰期，用这命令hdparm -t /dev/sda

/dev/sda:
Timing cached reads:   5324 MB in  2.00 seconds = 2662.40 MB/sec
Timing buffered disk reads:   14 MB in  4.05 seconds =   3.45 MB/sec

而另一台下载较正常的机器(也是一台dell1950 ，只不过没外接磁盘柜)

/dev/sda:
Timing cached reads:   9316 MB in  2.00 seconds = 4664.42 MB/sec
Timing buffered disk reads:  600 MB in  3.01 seconds = 199.42 MB/sec


我不懂存储，不知道是不是md1000慢？还是sata硬盘慢？还是raid5慢？还是raid1慢？还是连接1950和md1000的线有瓶颈？

困扰很久了，一直没解决

请存储高手帮忙看看

chinaglwo

自己顶一下，各位老大，快出手啊，帮帮忙啊

michael1983

在md1000上看性能如何？

yftty

硬件方面服务器直接塞硬盘，不挂磁盘阵列，同时不作RAID，是最快的。

chinaglwo

原帖由 yftty 于 2009-12-24 19:40 发表
硬件方面服务器直接塞硬盘，不挂磁盘阵列，同时不作RAID，是最快的。

可我不敢不做raid啊，1T数据对我们来说已经很大了，备份不方便。

chinaglwo

原帖由 michael1983 于 2009-12-24 15:51 发表
在md1000上看性能如何？

要怎么看，用什么软件吗，请告诉我查看的方法。

zhengsong

1、MD1000上的15块STAT硬盘，怎么作的RAID？
建议配置成两个RAID，再通过VxVM作条带化
15块盘作一个RAID组，IO性能不会很好，磁盘利用率也不高
2、用iostat去看磁盘上当前实时的写入速率
看sda和sdb哪个写入比较高
如果确实是始终sda比sdb高，那就是你的配置有问题了。
正常情况下，sdb设备的ext3日志会在sdb上后端写日志，不会在sda。

旷野的呼唤

原帖由 yftty 于 2009-12-24 19:40 发表
硬件方面服务器直接塞硬盘，不挂磁盘阵列，同时不作RAID，是最快的。

误己就算了，不要害人。。。。

chinaglwo

原帖由 zhengsong 于 2009-12-25 09:41 发表
1、MD1000上的15块STAT硬盘，怎么作的RAID？
建议配置成两个RAID，再通过VxVM作条带化
15块盘作一个RAID组，IO性能不会很好，磁盘利用率也不高
2、用iostat去看磁盘上当前实时的写入速率
看sda和sdb哪个写入 ...

我是15个盘全部做了个raid5。你意思是拿一个硬盘热备，然后两组7块硬盘分别raid5，然后再合起来raid0吗？ VxVM是什么意思？

确实是sda写入高，每秒几十M，我查到主要是kjournald在写，还有pdflush在写

而sdb都是读取，基本很少写入

我的大部分下载文件都在sdb上

而我用的是nginx提供web服务，nginx装在sda上，通过127.0.0.1:9000 启用php-fcgi，有个简单的php页面程序，对下载地址起防盗链作用。但nginx的读写都不高。

冬瓜头

原帖由 旷野的呼唤 于 2009-12-25 12:50 发表



误己就算了，不要害人。。。。

原帖由 yftty 于 2009-12-24 19:40 发表
硬件方面服务器直接塞硬盘，不挂磁盘阵列，同时不作RAID，是最快的。

这种说法在磁盘相对较少情况下大部分时候是成立的，但是架不住用几个fc卡，挂上几个高端存储啊，只要外部带宽高于内部sas卡带宽了，磁盘数量多了，自然这种说法就不成立了。 内置sas卡，12Gb带宽确实吓人，但是磁盘数量跟不上，。是个问题。