视频资源服务器有跑满1G带宽的吗？我的只能跑500M，不知瓶颈在哪里

rym1020

先说下配置

DELL R710（全新）

CPU ：XEON E5620*2
内存：4G DDR3*4
硬盘：DELL 3.5寸 SAS 15K7 600G*6 组raid0
阵列：DELL H700+512M缓存+电池
用途：视频文件服务器（win2003DC版+IIS）

由于视频文件总量比较大，有3TB，所以承受不起用SSD的高成本，不用SSD，那就只能用SAS了，15K转速是目前最高性能的，按理说硬盘性能不差了，H700卡也还可以吧。用各种硬盘测试软件测试都在100Mbyte以上，也就是800M带宽，可实际环境运行，到400M以上，服务器就有点卡（是点“我的电脑”要等待了），服务器是1G带宽的，跑到500M时就非常卡，随便打开个文本都要等十几秒。从症状上看应该是磁盘IO达到上限了。


之前考虑过用内存做缓存的，可是squid内存一跑高就容易假死，不知道什么原因，无法解决，只能放弃。后来试过用IIS来缓存，也是内存跑到1G左右就容易假死。

试过用loadrunner模拟真实环境（完全随机的请求视频文件），结果轻松跑满1G带宽

我想请问大家：

你们觉得我这个IO瓶颈在哪方面？
你们不用缓存不用SSD，能跑1G带宽的服务器配置都是啥样的？
用什么软件才能完全真实的模拟生产环境？

rym1020

没人吗没人吗没人吗没人吗

q1208c

从来没跑过这么大文件的视频, 所以, 只能做一些猜测, 有些建议, 供楼主参考.

1. 在服务器比较卡的时候, 系统的io情况如何? iostat -x 可以查看一下.
2. 服务器的中断使用情况如何? cat /proc/interrupts 可以查看.
3. 在服务器比较卡的时候, 有多少个并发的请求? 这要看你的具体服务软件上的数据.
4. 交换分区使用了多少? free 应该可以看到.

如果 1. 中 的 util 是 100% , 那是 io 有跑满了.
如果 2. 中 的 网卡中断跑在一个 CPU上, 那可能是小包太多了
如果 3. 中 的 请求数很多, 且是多个不同的文件, 那可能io有问题的可能性大.
如果 4. 中 的 交换分区使用较多, 很可能是系统在交换引起的io问题.

另外, sar -n DEV 也可以查看当前的网络情况. 看看是 包先到了, 还是 流量先到了.

以上建议, 仅供参考.

rym1020

谢谢楼上的大侠，我的服务器系统是windows 2003 datacenter，你说的那些命令应该都是linux下的吧。从我现在的症状来看，应该很明显是IO方面的问题，因为带宽跑到500M时，打开“我的电脑”要等好几秒，打开任意文本文件，也要等很久。而网络方面，请求数并不多，300左右，交换区几乎没有，由于全是静态文件，而且几乎没有写入操作，IIS只跑20M左右的内存，服务器总使用内存才600M，CPU使用率一直是3%以内，而用Hard Disk Sentinel监视硬盘发现跑500M带宽时磁盘占用率持续100%，所以可以断定是IO方面的问题，但是IO方面，究竟具体瓶颈在哪里呢，是阵列卡吗？还是SAS盘本身呢？还是系统原因？  SAS盘是6gbps的接口，卡也是6gbps的接口，用EVEREST测试随机读取，能跑到上百M字节，线性读取能达到600M字节，用loadrunner也轻松跑满，可一到生产环境，就跑不上去，很郁闷，现在不知道从哪方面下手。如果更换SSD，这个问题100%能解决，可是成本太高了。我跑的文件都是上百M每个的大文件，理论上来说SAS足以应付的啊。

rym1020

ChinaUnix.net›论坛›IT运维›服务器及硬件技术›视频资源服务器有跑满1G带宽的吗？我的只能跑500M，不知

rym1020

›服务器及硬件技术›视频资源服务器有跑满1G带宽的吗？我的只能跑500M，不知›服务器及硬件技术›视频资源服务器有跑满1G带宽的吗？我的只能跑500M，不知

q1208c

真不好意思, 对于 Windows, 我的知识有限, 帮不了你太多.

可以试着查看一下 "任务管理器"->"性能监视器"中的相关数据.

apen

你的600G*6 组raid0是如何组织的？可以试试分散IO，将6块硬盘每两块一组组成raid0，文件根据访问情况分别放在三个raid0上，这样IO性能会有所提高。

rym1020

谢谢apen。最开始我们是没组raid0使用的，但是由于资源无法做到平均访问，比如说今天这个视频有更新，存放这个视频的盘今天就满负载，明天换个别的视频更新了，别的盘又盘满负载，而操作系统是只要任意一块盘跑满了，就会很卡。听说RAID0是把数据分散在每块盘上的，可以大大提升读取性能，我们才建raid0使用，但现在发现效果也不是很好，所以就很奇怪，到底问题在哪儿呢

apen 发表于 2013-11-08 09:07
你的600G*6 组raid0是如何组织的？可以试试分散IO，将6块硬盘每两块一组组成raid0，文件根据访问情况分别放 ...

apen

解决的办法是提高系统ＩＯ，例如上ＳＡＮ或者ＳＳＤ，也可以试试多台服务器做负载均衡。