问个磁盘瓶颈问题？

chinaglwo

我是dell 1950+md1000跑文件下载服务器（linux系统），下载文件的80%都在md1000上，md1000是个15块sata 1T的硬盘(dell硬盘)raid5，目前下载文件用了1T左右的空间。1950是两个sas 300G raid1\r\n\r\n以前没接md1000的时候还比较正常，自从接上md1000，把文件从本地磁盘(raid1)转移到md1000(raid5)上去后，现在好慢，负载高， cpu %wa高，磁盘IO高\r\n\r\n后来查到是kjournald这个进程在写1950的本地硬盘sda，也就是不停的写ext3日志，而sdb也就是md1000的IO却不怎么高。\r\n\r\n在下载高峰期，用这命令hdparm -t /dev/sda\r\n\r\n/dev/sda:\r\nTiming cached reads:   5324 MB in  2.00 seconds = 2662.40 MB/sec\r\nTiming buffered disk reads:   14 MB in  4.05 seconds =   3.45 MB/sec\r\n\r\n而另一台下载较正常的机器(也是一台dell1950 ，只不过没外接磁盘柜)\r\n\r\n/dev/sda:\r\nTiming cached reads:   9316 MB in  2.00 seconds = 4664.42 MB/sec\r\nTiming buffered disk reads:  600 MB in  3.01 seconds = 199.42 MB/sec\r\n\r\n\r\n我不懂存储，不知道是不是md1000慢？还是sata硬盘慢？还是raid5慢？还是raid1慢？还是连接1950和md1000的线有瓶颈？\r\n\r\n困扰很久了，一直没解决\r\n\r\n请存储高手帮忙看看

chinaglwo

自己顶一下，各位老大，快出手啊，帮帮忙啊

michael1983

在md1000上看性能如何？

yftty

硬件方面服务器直接塞硬盘，不挂磁盘阵列，同时不作RAID，是最快的。

zhengsong

1、MD1000上的15块STAT硬盘，怎么作的RAID？\r\n建议配置成两个RAID，再通过VxVM作条带化\r\n15块盘作一个RAID组，IO性能不会很好，磁盘利用率也不高\r\n2、用iostat去看磁盘上当前实时的写入速率\r\n看sda和sdb哪个写入比较高\r\n如果确实是始终sda比sdb高，那就是你的配置有问题了。\r\n正常情况下，sdb设备的ext3日志会在sdb上后端写日志，不会在sda。

zhengsong

VxVM是Veritas提供的文件系统，可以在主机上对两个LUN作Stripe，以提供一个更高性能的磁盘。\r\n\r\n另外hdparm是对磁盘作测试的，结果意思是现在sda磁盘能提供的读性能很差，没有表明MD1000上有什么问题。\r\n\r\n不过看到你提供的信息，似乎和阵列配置没有关系。\r\n\r\nkjournald是EXT3文件系统的日志进程，pdflush是内存页面回写的进程，这表明业务系统在sda上有大量的写入，而不是通常web服务器的读操作远大于写操作。\r\n\r\n还是检查系统，使用top和ps，看哪个业务在sda上产生了这么大的写