请教WEB2.0视频网站的服务器存储阵列拓扑结构

ttvast

原帖由 aithero 于 2007-1-11 20:42 发表

不能有,这样的话就不是内容共享了,楼上说的做一台linux文件服务器,我也考虑过,但考虑到性能上的缺陷,所以没有采用.用这种方式还得增加一台作备份,对文件服务器的性能要求也相当高

你自己要从业务模型上动脑筋的阿。
10台流媒体服务器，后台挂3台nas服务器。3台nas服务器共享出3个目录。挂在10台流媒体服务器的目录下。硬盘空间不够了，再加一台nas服务器。流媒体服务器多加载一个共享。
linux下很容易实现。我想windows也不难。

把你的视频文件平均的分布到多台nas服务器，使得这些nas服务器能得到最大化的带宽输出。具体某一个视频文件在那个nas服务器上可以查数据库知道，同时也就知道挂载在视频服务器的那个目录下面。
怕机器坏，你就做备份，你买再好的储存设备，备份也省不了的。

aithero

原帖由 ttvast 于 2007-1-11 22:23 发表


你自己要从业务模型上动脑筋的阿。
10台流媒体服务器，后台挂3台nas服务器。3台nas服务器共享出3个目录。挂在10台流媒体服务器的目录下。硬盘空间不够了，再加一台nas服务器。流媒体服务器多加载一个共享。
...

你的方案在对一般视频点播网站是可行的,内容是由网站提供,但我们做的是视频分享网站,视频/音乐等等是由用户上传分别到不同对应的类型目录下,.并且我们考虑到WEB单台服务器的性能,我们的前台WEB服务器做了集群.所以由用户上传的视频音频等内容是需要被前台多台WEB服务器所共享,前台的几台做集群的WEB服务器有可能会同时对这个目录进行访问或者写操作.如果不计成本.当然有很多厂商解决方案.如购买卷共享软件.或者做并行存储.这几天一直在与厂商接洽.不知道您还有其它建议吗?对了,我们同时并存两种操作系统,一种是linux 提供WEB服务.另一种是windows Server 2003提供流媒体服务.所以要求还要考虑到跨平台

hoking

为什么不考虑采用一下并行文件系统呢
商用的比如：IBM的GPFS
开源的如：PVFS
不过这些都要求前端服务器采用*NIX平台

ttvast

原帖由 aithero 于 2007-1-12 11:11 发表


你的方案在对一般视频点播网站是可行的,内容是由网站提供,但我们做的是视频分享网站,视频/音乐等等是由用户上传分别到不同对应的类型目录下,.并且我们考虑到WEB单台服务器的性能,我们的前台WEB服务器做了集群 ...

-->>前台的几台做集群的WEB服务器有可能会同时对这个目录进行访问或者写操作<<--
无论是windows smb/cifs共享还是unix nfs共享，都可以允许多台服务器同时对一个目录进行读写操作。

有点不理解搂主了，不知道你是在政府机关作还是在创业型的网站做。那么喜欢研究高端产品。就这么说，你这个应用系统用san/iscsi 上面跑共享文件系统的方案是完全错误的，甚至将来你会吃药。
NAS是你这个系统的正规做法。

yddll

一分钱，一分货

aithero

原帖由 ttvast 于 2007-1-12 16:26 发表



-->>前台的几台做集群的WEB服务器有可能会同时对这个目录进行访问或者写操作<<--
无论是windows smb/cifs共享还是unix nfs共享，都可以允许多台服务器同时对一个目录进行读写操作。

有点不 ...

呵呵,目前文案基本出来了:一种是采用NAS,另一种是SAN,第三种是采用文件服务器的方式,不过这种基本被否决掉了.还有一种就是结合NAS+SAN的方案来做,现在就是需要在中找一个费效比最优的了.iscsi基本被排除

[ 本帖最后由 aithero 于 2007-1-13 15:32 编辑 ]

gaiyastone

可以用adic的statnext fs,san的共享软件.可以实现你的要求,但要出银子.楼上有说开源的pvfs没有用过,但原理应该是一样的.
要是做视频一般对性能要求比较高,建议还是认真考虑san的共享.nas和iscsi毕竟要走网络速度肯定受限制.

[ 本帖最后由 gaiyastone 于 2007-1-13 20:09 编辑 ]

ttvast

视频数据和数据库数据有很大的不同，
视频数据讲究的是带宽，即输出。数据库数据讲究的是相应速度。普通的文件数据则两者要综合起来考虑。
视频文件因为一般都比较大，也不会不断的检索不用的文件，因此只要输出带宽满足要求就可以。

视频数据更新不频繁，因此不讲究锁定（有，但是很少），而数据库数据更新频繁，对锁定要求极高。普通文件数据则在两者之间。
因此视频文件完全可以用低廉的共享方式smb/nfs实现数据共享

至于要用nas设备还是文件服务器，两者原理是一样的，选什么那就是烧不烧钱的问题了。
视频文件对于系统的稳定性远远没有其他数据要求那么高，你要达到3个9，4个9，那当然要用好的产品，但是对于视频分享网站，有没有这个必要呢？在何况，网站流量上去了，你肯定要做成分布式，等到那个时候，怎么办？每个分节点都要搞那么好吗？

jim.ma

这个讨论很及时呀. 呵呵 最近我刚好有个类似方案的应用. 不过WEB提供文件服务 而不是视频 ttvast 说的让我茅塞顿开. 看来我是陷入性能黑洞的误区了。