用Linux作非编系统集群,哪种方案好?

hackerdd

我在媒体工作,想把单位的非编做集群,开始考虑在windows下做,存储问题以解决(主要用iscsi+nas), 但是文件共享问题没有解决,原来考虑在windows下做,但是windows下存储共享软件不是很多,而且价格不菲.如果用linux的话,那么采用什么方案(主要指存储共享这一块),用rhcs,还是rhcs+gfs,或者lusture?请各位指点,特别期待nntp斑竹的指点!
注:我们的非编存储用iscsi,现在通过加一级文件迁移服务器的方式解决多站点共享问题.

oraclinux

这个好象用mosix比较好
因为非编是可以多轨道压缩生成视屏等
所以适合多进程迁移

nntp

to hackerdd,

没有看到你提到的非编和你们要做的存储之间的必然联系，恕我鲁钝.

如果是多台服务器同时访问你的iscsi 盘阵同时进行读写操作，我想lustre和你没有关系，你要用的是GFS,GFS作为一个软件来说，安装起来很简单，难的是正确按照你的业务要求进行配置和性能估算/性能调整，还有其他方面的规划考虑,比如fencing, HA, 故障情景等. 你们需要充分了解面对的业务，了解了业务特性和GFS的技术后，才可能得到你们想要的结果。


to oraclinux,同学虽然答非所问，不过如果真的顶楼问的是利用集群作rendering或者encoding的话,你的答案算是正解。:"))))))

hackerdd

感谢CU,感谢nttp! 感谢你们的关注!!
nttp真是个谦谦君子，CU之幸啊！
　我的问题是：我们的存储用的是ＩＳＣＳＩ服务器（OpenE公司的基于linux的iscsi），单机１．５Ｔ，现在我们想把２－３台ＩＳＣＳＩ放在后台做中心存储，前台大约有２０台非编工作站直接调用iscsi里的素材编辑，我们的非编都是基于windows的．
　nttp分析的非常透彻，现在我们的难题是如何规划配置的问题，由于iscsi本身提供的是物理卷，没有文件系统，无法共享，要解决问题必须要在每台非编上提供共享文件系统（windows下主要是在非编上装Sangery软件），那么GFS文件系统是无法直接在非编系统上安装的，因为非编软件都是基于windows的，所以必须要怎加一个＂中间＂服务器来运行GFS,但是我们的非编怎么访问这个gfs文件系统呢？另外，如果几台iscsi做成集群应该采用哪种方案为好？　据我的了解，linux的gfs文件系统在广电行业的应用几乎没有，所以很想试一下，希望各位高手能给予我们指导！　：）

nntp

solution 1: with GFS

20 workstation(MS windows+NFS client)
|||||||||||||||||||||||||||||||||||||||||
---------------LAN------------------------
-----------|||||||||||||||------------------
GFS Cluster+NFS cluster (用GFS提供cluster filesystem,用RHCS把NFS resource配好)
----------IP network-------------------
||||||||||||||||||||||||||||||||||||||||||
----------iSCSI Storage server-------

Solution 2: without GFS

20 workstation(MS windows+NFS client)
|||||||||||||||||||||||||||||||||||||||||
---------------LAN------------------------
-----------|||||||||||||||------------------
NFS cluster (用RHCS把NFS resource配好)
LVM iSCSI lun.
----------IP network-------------------
||||||||||||||||||||||||||||||||||||||||||
----------iSCSI Storage server-------

hackerdd

nttp让我茅塞顿开!感谢!
"20 workstation(MS windows+NFS client)"
原先没有想到用NFS挂接,真是汗颜!那么关于NFS client, 有个软件HummingBird.NFS.Maestro.Gataway(NFS Maestro Gateway网关软件是一个真正的完全不需要任何客户端配置，任何开发和任何服务器管理的网络文件系统（NFS）解决方案。利用这个网关软件， Microsoft Windows用户只需要通过熟悉的Windows图形用户环境，而不用了解任何UNIX的知识或者NFS协议命令集或底层网络结构，就可以访问UNIX 主机。NFS Maestro Gateway网关软件有助于降低网络管理和培训成本，提升网络系统的投资回报。每一个PC机的管理员都希望使用的软件不需要在每一个终端用户的桌面电脑上进行任何安装。现在，具有完全无缝，绝对透明，无需任何客户端安装的软件不再是一个梦想。NFS Maestro Gateway网关软件就是这样一个安装在Windows PC机上，性能稳定，进行中心化管理和具有高性能，无需任何客户端安装的解决方案。利用这个网关软件作为UNIX/NFS协议网络和 Microsoft/SMB协议网络间的代理服务器，管理员不再需要在每一台PC上安装单独的NFS客户端软件。NFS Maestro Gateway让每一个网络管理员的梦想成真。)
nttp对这个软件了解吗??
另外,还有2个问题:1.您的这两个方案中,后台的几个iscsi storage server能集群吗?
2.对于广电系统高带宽占用,大文件连续读取的应用需求,what is better? solution1 or solution2?

nntp

A1. iscsi storage server is only "storage" 是否能够cluster取决于这个iSCSI storage所用的技术, 个人意见没有必要cluster.   iSCSI storage不过是IP SAN 设备而已，应该不适合cluster 的范畴.

A2. 哪个better取决于对应用的详细分析和评估，到底最后做出来的系统达到如何的性能，完全取决于之前的分析和规划工作.

hackerdd

iSCSI storage 用的是3ware的9500，作raid5，测试发现最高连续顺序读写速度300Mb/s,这样单 iSCSI storage理论上可带12台非编，实际可保证4-5台。如果20台同时并发的话， iSCSI storage一定处理不了！我的理解时，GFS可以解决文件单 iSCSI storage文件共享，譬如， iSCSI storage1中的LUN共享出来让所有的非编都可以访问，iSCSI storage2中的LUN也共享出来让所有的非编都可以访问，但是怎么解决前面说的20台非编并发访问的问题？GFS可以做到吗？如果可以那就太好了！

nntp

例子(不考虑具体的性能规划细节):

iSCSI_A:lun0 lun1
iSCSI_B:lun0 lun1
iSCSI_C:lun0 lun1
iSCSI_D:lun0 lun1

fdisk
pvcreate {i[A-D].lun[0,1]}
vgcreate BIG_vg {i[A-D].lun[0,1]}
lvcreate  video_content BIG_vg stripped

GFS_A, GFS_B{setup GFS,start services mkfs.gfs video_content, mounted, }
GFS_A, GFS_B{setup RHCS, add NFS resource, start/export}

client_workstation[1-20] {install nfs client, mount nfs share, access}

[ 本帖最后由 nntp 于 2006-7-15 10:31 编辑 ]

hackerdd

got!
thank nttp for your attention!
i will try your plan and hope get your  help in future!