rym1020 发表于 2013-11-05 02:18

视频资源服务器有跑满1G带宽的吗?我的只能跑500M,不知瓶颈在哪里

先说下配置

DELL R710(全新)

CPU :XEON E5620*2
内存:4G DDR3*4
硬盘:DELL 3.5寸 SAS 15K7 600G*6 组raid0
阵列:DELL H700+512M缓存+电池
用途:视频文件服务器(win2003DC版+IIS)

由于视频文件总量比较大,有3TB,所以承受不起用SSD的高成本,不用SSD,那就只能用SAS了,15K转速是目前最高性能的,按理说硬盘性能不差了,H700卡也还可以吧。用各种硬盘测试软件测试都在100Mbyte以上,也就是800M带宽,可实际环境运行,到400M以上,服务器就有点卡(是点“我的电脑”要等待了),服务器是1G带宽的,跑到500M时就非常卡,随便打开个文本都要等十几秒。从症状上看应该是磁盘IO达到上限了。


之前考虑过用内存做缓存的,可是squid内存一跑高就容易假死,不知道什么原因,无法解决,只能放弃。后来试过用IIS来缓存,也是内存跑到1G左右就容易假死。

试过用loadrunner模拟真实环境(完全随机的请求视频文件),结果轻松跑满1G带宽

我想请问大家:

你们觉得我这个IO瓶颈在哪方面?
你们不用缓存不用SSD,能跑1G带宽的服务器配置都是啥样的?
用什么软件才能完全真实的模拟生产环境?

rym1020 发表于 2013-11-05 12:54

没人吗没人吗没人吗没人吗

q1208c 发表于 2013-11-05 15:02

从来没跑过这么大文件的视频, 所以, 只能做一些猜测, 有些建议, 供楼主参考.

1. 在服务器比较卡的时候, 系统的io情况如何? iostat -x 可以查看一下.
2. 服务器的中断使用情况如何? cat /proc/interrupts 可以查看.
3. 在服务器比较卡的时候, 有多少个并发的请求? 这要看你的具体服务软件上的数据.
4. 交换分区使用了多少? free 应该可以看到.

如果 1. 中 的 util 是 100% , 那是 io 有跑满了.
如果 2. 中 的 网卡中断跑在一个 CPU上, 那可能是小包太多了
如果 3. 中 的 请求数很多, 且是多个不同的文件, 那可能io有问题的可能性大.
如果 4. 中 的 交换分区使用较多, 很可能是系统在交换引起的io问题.

另外, sar -n DEV 也可以查看当前的网络情况. 看看是 包先到了, 还是 流量先到了.

以上建议, 仅供参考.

rym1020 发表于 2013-11-05 17:25

谢谢楼上的大侠,我的服务器系统是windows 2003 datacenter,你说的那些命令应该都是linux下的吧。从我现在的症状来看,应该很明显是IO方面的问题,因为带宽跑到500M时,打开“我的电脑”要等好几秒,打开任意文本文件,也要等很久。而网络方面,请求数并不多,300左右,交换区几乎没有,由于全是静态文件,而且几乎没有写入操作,IIS只跑20M左右的内存,服务器总使用内存才600M,CPU使用率一直是3%以内,而用Hard Disk Sentinel监视硬盘发现跑500M带宽时磁盘占用率持续100%,所以可以断定是IO方面的问题,但是IO方面,究竟具体瓶颈在哪里呢,是阵列卡吗?还是SAS盘本身呢?还是系统原因?SAS盘是6gbps的接口,卡也是6gbps的接口,用EVEREST测试随机读取,能跑到上百M字节,线性读取能达到600M字节,用loadrunner也轻松跑满,可一到生产环境,就跑不上去,很郁闷,现在不知道从哪方面下手。如果更换SSD,这个问题100%能解决,可是成本太高了。我跑的文件都是上百M每个的大文件,理论上来说SAS足以应付的啊。

rym1020 发表于 2013-11-06 00:00

ChinaUnix.net›论坛›IT运维›服务器及硬件技术›视频资源服务器有跑满1G带宽的吗?我的只能跑500M,不知

rym1020 发表于 2013-11-06 13:25

›服务器及硬件技术›视频资源服务器有跑满1G带宽的吗?我的只能跑500M,不知›服务器及硬件技术›视频资源服务器有跑满1G带宽的吗?我的只能跑500M,不知

q1208c 发表于 2013-11-06 17:14

真不好意思, 对于 Windows, 我的知识有限, 帮不了你太多.

可以试着查看一下 "任务管理器"->"性能监视器"中的相关数据. :$

apen 发表于 2013-11-08 09:07

你的600G*6 组raid0是如何组织的?可以试试分散IO,将6块硬盘每两块一组组成raid0,文件根据访问情况分别放在三个raid0上,这样IO性能会有所提高。

rym1020 发表于 2013-11-12 16:04

谢谢apen。最开始我们是没组raid0使用的,但是由于资源无法做到平均访问,比如说今天这个视频有更新,存放这个视频的盘今天就满负载,明天换个别的视频更新了,别的盘又盘满负载,而操作系统是只要任意一块盘跑满了,就会很卡。听说RAID0是把数据分散在每块盘上的,可以大大提升读取性能,我们才建raid0使用,但现在发现效果也不是很好,所以就很奇怪,到底问题在哪儿呢

apen 发表于 2013-11-08 09:07 static/image/common/back.gif
你的600G*6 组raid0是如何组织的?可以试试分散IO,将6块硬盘每两块一组组成raid0,文件根据访问情况分别放 ...

apen 发表于 2013-11-13 12:22

解决的办法是提高系统IO,例如上SAN或者SSD,也可以试试多台服务器做负载均衡。
页: [1] 2
查看完整版本: 视频资源服务器有跑满1G带宽的吗?我的只能跑500M,不知瓶颈在哪里