寻求一个5000并发的在线视频点播的存储方案!

sonorous

原帖由 "shiqiaoliang" 发表：

我们算一算。EMC，HDS平均每个盘的速度15M左右.........

能不能说一下你是怎么知道，是官方说的，还是你自己测出来的

另外，如果是你自己测的，能不能告诉大家你是用什么方法测的

shiqiaoliang

内部资料描述是在10多M左右。我自己写了个程序，模拟多线程操作，对磁盘进行随机读写，语言是标准C，环境有LINUX，模拟不同的BLOCK（也就是模拟不同的应用）。测试出来的结果是15M不到点,实际上。我们测试的时候会发现个有趣的现象。就是单块盘测试。你会发现速度能达到30-38MB左右。但当你做了RAID以后。每个盘的平均速度反而下来了。如果盘很多。整体的速度很高，但绝对不是单块盘的最大速度（30-38MB）速度x盘的数量。实际要比理论值低很多。。但盘放的太多的话。存储的整体速度又下来了，也就是每个LUN的硬盘数量有个极限。超过极限速度明显下降。有点象正弦曲线。存储参数的调整，确实可以改善存储性能。但改善的幅度感觉不是太大。比期望值要低，这种调整和应用有关系。需要摸索。另外。我也测试了SAN交换机，确实达不到2G的速度。比2G要低。我用了2种不同的测试原理测试出的结果。

实际上我本来也是抱着交流的态度来的。但看那人真是太过分了。到处攻击别人。一点都听不进别人的意见。认为自己是正确的。硬说NAS不能做VOD。实际上很多大的VOD都用NAS。他不知道没问题，不会嘲笑他，我可以在背后告诉他实现的细节。但他太过分了。上来就说这个人不懂，那个人不会的。我当然要跳出来了。否则CU的技术气氛都被这种无知的却很狂妄的人搞坏了，误导很多搞技术学习的新人。我没看到就算了。我看到了当然要站出来了。

不羁的风

这里是存储论坛，那大家都心平气和的讨论技术上的事吧。 呵呵，夏天都要完了，火气不要那么大嘛。

从技术的角度上讲，shiqiaoliang对存储设备与技术的理解确实一些误区或者不正确的地方。

首先：“我们算一算。EMC，HDS平均每个盘的速度也就是15MB左右。”这是肯定不正确的，你随便找个存储做一个RAID的速度都大于你的说的这个速度。RAID速度与硬盘数量有关系，但不是线性增加的关系。是因为有条带化工作的开销。 这个是每个做过存储的人都明白的道理。

还有“如果为了保证安全和速度还要做RAID1+0。也就是需要EMC CX系列四个柜子左右。” 这也是不对的， 实际上，在视频或者流媒体领域，绝大多采用的是RAID 3 或者RAID 5的方式。

再有 “光纤的速度也就是2Gb,也就是250MB,实际上根本达不到这个速度的。200MB已经很了不起了。 750MB的速度远远的超过了目前存储的速度。” 这更是不对的，一个光纤的速度是2GB没错， 但是，现在几乎所有的存储都有多个接口。 2个 4个 8个， 一个存储就能提供8×2G=16Gbd的带宽。  别的产品不说，就说你做的EMC的存储，就说低端的CX系列， 一个CX 300都能提供300MB的吞吐， 一个CX 500就能提供500MB以上的带宽。  如果你真的做过存储产品，你去翻阅一下这些产品的手册，就会明白这个事实。

大家都是做技术的，希望大家就事论事的讨论，不要动不动就拿什么这个项目、那个项目，这个低端，那个高端来唬人。  技术论坛，大家还是有一说一  ^_^  

BTW:相信大家来这个论坛都是来结交同行，而不是来干你死我活的革命的，因此，要拍砖头的请温柔点。  钢盔薄啊！！

jeffcai

300MB/500MB 是Cache读的指标吧，手册中的指标都是各个厂商的理想情况。

流媒体应用中，Cache读的作用很小，这种应用中，还是不要用CX为好。

三人行必有我师。

shiqiaoliang

恩。在CX里面是有4个口，8个口的，但那是在DPS上的。很多的时候。CX都要安装DAE的。柜子和柜子之间连接线才2Gb啊。在VOD中确实一般用RAID3的。这个我十分同意。也确实不适合用CX。CX过于依赖CACHE。对VOD这个意义不大的。
而且在CX中，每个LUN只能OWNER给一个SP，也就是说同时访问一个LUN最多只有4个口在并行工作（按装了Powerpath后），也就是最理想的情况下CX700工作访问同一个LUN的带宽是8Gb,但实际使用和测试的时候，会发现。速度确实达不到的。而且EMC官方也只建议只使用2个光口。另外的2个光口另做它用。
EMC的文档声称测试过一张HBA卡的速度观测过达到190MB，我安装的时候重来没达到那个速度，EMC的工程师也说他们也没达到过那个速度。而且相差很大。所以存储厂家的东西还是不能全信的，毕竟他们的数据是在实验室里得来的。和真实的应用相差很远。
至于速度，我们可以想象一下。14快盘做RAID，大家使用的时候，不谈复杂的测试。随便找个机器测试一下后端的存储，关掉存储CACHE。恐怕即使是CX700对它的一个LUN写超过50MB已经很了不起了。一般只有30-40MB，我们做些精确的计算。确实可以发现。存储的硬盘持续的速度确实不快的。随便超过15MB，真的很难的。

sonorous

我觉得15M的速度肯定是不对的，由于目前身边没有EMC的盘阵，但我随便在自己的笔记本和一台SUN ULtra5(IDE硬盘)上测了一下，结果如下：
笔记本：DELL 510m
测试方法：从C：COPY一个大文件到D：
测试结果：速度在4-6M

SUN Ultra5：IDE硬盘
测试方法：# mkfile 1g test
测试结果：6-8M
# iostat -cxtn 5 100
                extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    0.3    0.2    1.3  0.0  0.0   31.9    3.5   0   0 c0t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 fd0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    3.4   0   0 c0t2d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun8:vold(pid52
     cpu
us sy wt id
  0 23 30 47
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.2   53.6    1.6 6804.5 70.1  2.0 1304.1   36.9  98 100 c0t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 fd0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t2d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun8:vold(pid52
     cpu
us sy wt id
  1 24 28 47
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.2   53.6    1.6 6808.2 71.6  2.0 1331.7   37.1  98 100 c0t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 fd0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t2d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun8:vold(pid52
     cpu
us sy wt id
  1 19 31 49
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.6   52.2    4.4 6531.2 73.2  2.0 1386.5   37.9 100 100 c0t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 fd0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t2d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun8:vold(pid52

以上的测试应该都算是在比较差的配置下进行的，我想EMC，HDS不会只有15M的，下次装或去客户那，我一定会测一下的。

sonorous

在SAN环境中用Legato networker 7.2备份，最快写速度曾达到过65M/s，这是我自己做的项目，绝对事实，SAN连接速度为2G，磁带机为LTO2

通过DISK BACKUP，应该只会更快，由此推出，EMC，HDS肯定远远不止15M，如果真的只有15M，他们的产品卖给谁去？

sonorous

Sun Ultra1, SCSI 4.3G测试结果7-9M
[root@sun app]# iostat -cnx 5 100000
     cpu
us sy wt id
  5  7 16 72
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
   15.7    2.6  139.8    5.5  0.0  0.7    0.0   35.7   0  19 c0t0d0
    2.4    1.0   47.3  587.0  0.0  0.9    0.0  276.6   0  10 c0t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun:vold(pid579)
^C
[root@sun app]# iostat -nx 5 100000
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
   15.5    2.5  138.3    5.5  0.0  0.6    0.0   35.7   0  19 c0t0d0
    2.4    1.1   46.9  674.7  0.0  1.1    0.0  308.8   0  11 c0t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun:vold(pid579)
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.4    8.4    3.2   10.1  0.0  2.8    0.0  317.4   0  31 c0t0d0
    0.6   11.0    4.8 9001.8  0.0 10.8    0.1  931.9   0 100 c0t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun:vold(pid579)
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    4.4    0.0    4.1  0.0  1.1    0.0  249.9   0  16 c0t0d0
    1.0    9.2    8.0 6757.1  0.0 11.1    0.1 1086.1   0 100 c0t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun:vold(pid579)
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    0.2    0.0    0.4  0.0  0.0    0.1   39.6   0   1 c0t0d0
    0.8   10.2    6.4 7248.1  0.0 10.1    0.1  919.5   0 100 c0t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun:vold(pid579)
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    0.4    0.0    5.1  0.0  0.0    0.1   47.9   0   2 c0t0d0
    0.6   11.8    4.8 7331.0  0.0  7.5    0.1  608.7   0  99 c0t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 sun:vold(pid579)

ceacdong

我刚做了一个类似的方案，具体的需求如下，也是一个电影的下载网站，对方是离线下载，需求发上来你看看：
应用环境：
       1.目前服务器用的是windows 2003 server, 以后想用:linux或是freeBSD。
       2.下载全是FTP,服务器用serv-U建立FTPserver,因为是收费的网站,用 http目前不知道怎么实现。　
       3.目前没有在线观看,全是下载,以后有可能在线观看.
       4.目前每天的IP访问量大约:2万。
       5.希望是保证每个用户能达到:100Kb的下载速度。
       6. 上了1G,当然是希望充分利用资源,应能跑到700Mb吧,也就最高峰700Mb,平时也应在500Mb左右.带宽不够可能再进行扩充。
       7.维护的时候希望是不能影响用户的下载。
       8.每天新增影片大约3到5部,有时还有部分连续剧。
       9．目前没有使用磁盘阵列，只是服务器上挂硬盘模式。