自己规划了一个GFS＋iSCSI集群方案, 不知可行否？

jeepmac

初来乍到，行个礼先！

要弄个网站，因为对服务器CPU的压力比较大, 可能开站准备弄5台Application server集群；对磁盘空间也要求较大，就成本考量，准备先买个iSCSI磁盘阵列。先画了个图：



负载均衡准备采用一台服务器，通过Apache＋mod_proxy_balancer来均衡; 图中只有5台Application server会使用到阵列空间, 所以在这5台上装Linux iSCSI client，并使用GFS挂载阵列空间以共享空间。5台服务器装CentOS和GFS是否可以呢？具体怎样安装呢？

数据库方面也打算两台服务器，不过不知Multi-Master Replication怎么弄？

对Linux, SAN, GFS尚属于摸索阶段，不知这种方案在实际应用中是否可行？会潜在一些什么问题？是否需要家一些其他元素，比如是否应该再加个负载均衡服务器的热备份？还请高人指点。

nntp

1. 为什么要用gfs? 5台app srv都需要同时读写iSCSI上面的相同数据么? 如果没有这样的需求，GFS就不需要了. 如果要同时读写同一数据，GFS必须.
2. 你看看自己画的图，难道没有发现一个很严重的问题么？ 万一你的Giga Switch挂掉了不但 load balancer不能访问app server,  app srv连 iSCSI的通路都废掉，而且你的MySQL DB也有问题，这个拓扑是一个单点.
3. iSCSI也走giga switch, DB replication 也走，app srvx5 访问gfs也走giga switch,  没有考虑过I/O性能么?  你这样的情况，至少需要2台giga,  iSCSI也是SAN(ip),所以你需要dedicate switch 为存储服务.
4.安装方法参考官方手册，本版置顶 建议你看看完，linux和cluster都不熟的话，就找人来做.

jeepmac

谢谢！原来那么多疏漏啊

1. 5台app srv 要同时读写iSCSI上的数据，但不是同一数据，比如各个用户自己的图片；未来可能要增加app srv 到10台，或几十台。要GFS吗? 还有，5台srv读写的数据一般是10K～50K 的图片thumbnail.

2. 就是说需要在iSCSI和app srv之间增加一个giga switch？
    数据库是供5台app srv使用的，怎样弄呢？

3. 同上，对吗？

4. Shanghai有没有人帮忙？

[ 本帖最后由 jeepmac 于 2006-8-12 09:34 编辑 ]

oncity

老实说，你这样的做成本也很高，特别现在的所谓'iSCSI磁盘柜' ，也不是硬件级东西.

读写整都限制在 20M/S 左右。

代成本的话，可以这样考虑，用NFS 共享数据给 app ，NFS主机同时提供 web 服务（纯图片）

app 只是处理请求。这样的效果会理想好多。

GFS 的必要性在于同时‘写’，就图片网站同时‘读’居多的情况下，真的没有太多的必要性。

bjchenxu

技术我就不分析了，但是大投资的方案一定要谨慎

我以前就多次犯过错误，对结果估计太好，做了巨大的投资，结果没有下文，你一定要吸取教训，不要为了技术而技术，重蹈覆辙

个人意见，仅供参考！

jeepmac

原帖由 oncity 于 2006-8-12 17:35 发表
代成本的话，可以这样考虑，用NFS 共享数据给 app ，NFS主机同时提供 web 服务（纯图片）
...

我找了一个其他网站的结构图：




这个网站文件存储的设计和oncity建议的很像（图中NFS部分），利用了web主机提供NFS服务，而且他们有说自己的这个web proxy主机选用了single P4 3.0GHz, 2GB RAM, SCSI U320 HDDs RAID-1。

这样的话如何做几T以上的空间呢？请原谅，就当是CU里面最愚蠢的问题好了，我是说选什么样的盘柜，给个型号和接口什么的，还有选什么样CPU＋RAM的NFS主机？如果磁盘空间再要求扩容呢？

[ 本帖最后由 jeepmac 于 2006-8-12 22:00 编辑 ]

jeepmac

原帖由 bjchenxu 于 2006-8-12 17:50 发表
技术我就不分析了，但是大投资的方案一定要谨慎

我以前就多次犯过错误，对结果估计太好，做了巨大的投资，结果没有下文，你一定要吸取教训，不要为了技术而技术，重蹈覆辙

个人意见，仅供参考！

是啊，我也是想办手里的钱能办的事情，谢谢提醒，我是想门儿清啊

jeepmac

哦，可以插卡（RAID/SCSI）连接外置磁盘柜

有便宜的磁盘柜吗？来放置SATA

nntp

原帖由 jeepmac 于 2006-8-12 22:10 发表
哦，可以插卡（RAID/SCSI）连接外置磁盘柜

有便宜的磁盘柜吗？来放置SATA

你这个是在开玩笑....

nntp

原帖由 jeepmac 于 2006-8-12 08:34 发表
谢谢！原来那么多疏漏啊

1. 5台app srv 要同时读写iSCSI上的数据，但不是同一数据，比如各个用户自己的图片；未来可能要增加app srv 到10台，或几十台。要GFS吗? 还有，5台srv读写的数据一般是10K～50K 的图片 ...

用户需求不明, 我看得实在费力.

5台app srv 到底怎么着？说清楚. 否则我就是白打字.