沙龙讨论: 如何用开源技术搞定负载均衡、访问加速（内网/外网）？(主题聚会召集9.20)

ppop123

原帖由 metoo2008 于 2008-8-21 14:24 发表


最近在研究Yahoo的Cache前端部署的案例。不知道这种部署是否真得有效。

在案例中是这样描述的。
1、Squid服务器都配置32GB的内存，不用很大的硬盘。并配置squid尽量使用内存来做Cache
2、使用URI hash ...

这样作也可以，取舍就看钱多少，不过我对F5的产品在业务需求复杂的情况下的性能衰减还是很没信心的，能不这么
用最好，宁愿分域名来拆分内容来确保squid对应的内容不会超过32G.

ppop123

原帖由 MYSQLER 于 2008-8-21 14:55 发表


对这个比较感兴趣
metoo2008兄啥时候弄一个文档供大家参考一下.

他都说那么详细了，还需要啥文档呀。

ppop123

原帖由 metoo2008 于 2008-8-21 14:24 发表



最近在研究Yahoo的Cache前端部署的案例。不知道这种部署是否真得有效。

在案例中是这样描述的。
1、Squid服务器都配置32GB的内存，不用很大的硬盘。并配置squid尽量使用内存来做Cache
2、使用URI hash技术在前端进行负载均衡。这样可以保证每台Cache上缓存的内容都是不一样的，解决cache空间小的问题。
3、使用F5的Election hash技术，避免当某台服务器故障，整个Hash重算，导致所有的Cache不命中，进而导致后台服务器同时接收大量请求倒下的问题。Election Hash的主要特点就是通过加权方式，把hash值进行排序，把请求只分给hash加权后数值最高的健康节点。

据说是这样实现了之后，整个系统的效率得到了极大的提高，因为大量的Cache内容都从内存里面直接返回，而不需要去硬盘上检索导致的效率问题。 squid好像本身对硬盘缓存部分控制就不太好。当然，即使每台机器32GB的内存，还是需要很多台服务器来提供缓存的，但根据网站内容的大小，如果 hash分配比较平均的情况下，还是不需要太多的服务器的。

这样做的一个最大的问题就是F5负载均衡设备的CPU消耗比较高。所以需要在这中间有一个取舍。

说说这个案例吧，squid用大内存来确保内存的命中率确实能大幅提高squid的效率，在极端的情况下能做到100%的命中率。问题就在需要cache的内容的总容量有限。硬盘永远都是瓶颈之一。
用URI hash来确保每台 cache的内容不一样，但最终还是会有那么多的东西需要cache，这样作的目的只是为了减少后端业务的修改量。
F5的东西只要用到L7的部分，性能下降就开始很明显了，尤其作为cache前的bigip不可能是高端系列的，还是能少用就少用。

MYSQLER

原帖由 ppop123 于 2008-8-21 15:42 发表


他都说那么详细了，还需要啥文档呀。

俺要最后的结果。cache的有效性？很详细吗？我怎么没看到，不要纸上谈兵，实验结果呢？

ppop123

原帖由 MYSQLER 于 2008-8-21 17:18 发表



俺要最后的结果。cache的有效性？很详细吗？我怎么没看到，不要纸上谈兵，实验结果呢？

人家都说了那是yahoo在线跑的业务案例，不是啥实验，具体数据没人会给，而且就算给了，业务模型不一样的情况下也没有办法直接用。
人都说了整个的思路和方式了，自己想想就知道该怎么作了，还需要啥呢？ 难道让人把完整的拓扑和配置文件贴出来才算？

metoo2008

原帖由 MYSQLER 于 2008-8-21 17:18 发表



俺要最后的结果。cache的有效性？很详细吗？我怎么没看到，不要纸上谈兵，实验结果呢？

没有数据的。案例只提到了每台Cache使用了32GB的内存，5GB的硬盘Cache。而在案例里也确实是用的F5最高端的产品Viprion。这里讨论主要是拓展一下思路了。

ppop123

原帖由 metoo2008 于 2008-8-21 21:16 发表


没有数据的。案例只提到了每台Cache使用了32GB的内存，5GB的硬盘Cache。而在案例里也确实是用的F5最高端的产品Viprion。这里讨论主要是拓展一下思路了。

ft，他们真有钱，也真浪费钱。不是中国雅虎的案例吧。

metoo2008

原帖由 ppop123 于 2008-8-21 21:45 发表


ft，他们真有钱，也真浪费钱。不是中国雅虎的案例吧。

不是的，Viprion我还没见过呢。

MYSQLER

原帖由 metoo2008 于 2008-8-21 21:16 发表


没有数据的。案例只提到了每台Cache使用了32GB的内存，5GB的硬盘Cache。而在案例里也确实是用的F5最高端的产品Viprion。这里讨论主要是拓展一下思路了。

我接触这方面不多才这么说，感谢metoo2008回复，不像有些人一知半解上来就冷嘲热风的，一点素质没有。做技术的一定要有深邃的涵养才能有高超的技术

ppop123

原帖由 MYSQLER 于 2008-8-22 09:42 发表



我接触这方面不多才这么说，感谢metoo2008回复，不像有些人一知半解上来就冷嘲热风的，一点素质没有。做技术的一定要有深邃的涵养才能有高超的技术

        恩，懒得和你打嘴架，做技术的另外有个要求就是学会自己思考问题。入门的时候也许有人和你讲基本的东西，但深入以后就靠自己和google了，从来都是
看到别人只言片语来开启自己思路，我一知半解也至少知道老杨说的是个啥，也能猜到不可能是雅虎中国的方案。  算了，不和你斗嘴了，没意思。