有比squid更好的代理/缓存服务器软件吗？

marlborolj

我曾经给一个大学用过squid的代理服务器，两台用负载均衡，确实有并发数量过大而导致squid进程（平均1秒10G）悬挂（用系统自带检测squid程序也不起作用出现情况是dead lock用/etc/rc.d/init.d/squid restart没任何反应，只有重新安装squid软件包或者把哪些目录都给删除掉用SQUID -D OR SQUID -Z才能重新生成），只要一台squid服务器宕机，另一台在半小时内也会宕掉。后来dell公司说他们有个代理服务器，后来一看只不过操作系统是redhat,也是用的squid做代理，过一两天出现的问题还是一样的。最后dell推荐了一台硬件代理服务器（不知道是那个公司的产品），好像在20万以上把，解决了这个问题。
那个大学有8个分校，中午并发上网的人数大约在1万左右。
我找的，1年前发的东西！

marlborolj

后来想过用oops，但是老板们认为这不是linux自带的软件，不能负责，后来还是买cache了。

keqian

这个问题真的很烦。不知道能不能找到解决办法。

我估计squid在检索数据时需要把所有的数据全部检索，占用过多的内存与做了过多的判断，这样在缓冲过大或是请求过多时，CPU与内存根本处理不了这么重的负荷，只有死掉。

其实就是一个数据存贮结构与索引方式的问题，还有检索的算法。这个应该不是件非常复杂的事情，为什么就没有人对squid进行改进呢？或许是因为开源软件的开发者都是些个人或小团体，没有这么高的性能与负载要求有关？而且这些个人或小团体也没有资金或条件进行这样大负载的测试与调试？

我怀疑有些商用缓存软件存在基于squid进行改进的可能性。

keqian

有人做过oops负载的测试吗？

keqian

又一个新的问题提出来了，SQUID是不支持多CPU的，有什么好的办法可以让它充分利用多CPU的资源吗？

官方FAQ里面说的解决办法是在同一台机器上运行多个SQUID，并想办法让它们平均接受用户的访问负载。具体的办法FAQ里面没说。

keqian

又一个新的问题提出来了，SQUID是不支持多CPU的，有什么好的办法可以让它充分利用多CPU的资源吗？

官方FAQ里面说的解决办法是在同一台机器上运行多个SQUID，并想办法让它们平均接受用户的访问负载。具体的办法FAQ里面没说。

我在想如果安装多个SQUID，会带来哪些问题？
  每个独立的SQUID要占用各自的内存，还有内存缓冲区，好象非常不合算。
  各个SQUID是不是可以使用共同的磁盘缓存？如都使用同一个硬盘中的同一数据？
  用什么办法来给同一台机器中的多个SQUID平均分配来自用户的负载呢？
  多个SQUID是否可以各自独立正常运行？

另：刚查到，SQUID从2.4版开始已经有方法可以支持多磁盘的并行数据读写了，也就是已经解决了磁盘系统I/O的问题了

keqian

象前面marlborolj举的例子，那么大的负载只用两台机器的两个独立CPU，又没使用磁盘的并行读写，不死才怪呢！
再说SQUID的数据检索算法确实不行。另外估计与例子中提的硬件cache的配置也不会一样，举个例子，同样的至强CPU和至强MP CPU的价格相差近十倍！性能上差多少我就不知道了。

另一个思路，可以不可以把OOPS和SQUID结合使用？
OOPS是对多处理器支持是很好的。但它对多磁盘并行读写的支持怎么样呢？

唉。。。怎么就没有一个完善一点的方案呢？

keqian

各位高手帮忙考虑一下，这个对大家都有用的，做成了应该可以把squid的负载能力提高几倍也不一定的

keqian

刚才看了SQUID FAQ里面有一篇介绍如何用最少的停机时间来升级SQUID的文章，原文如下：
Can you tell me a good way to upgrade Squid with minimal downtime?
Here is a technique that was described by Radu Greab.

Start a second Squid server on an unused HTTP port (say 412. This instance of Squid probably doesn't need a large disk cache. When this second server has finished reloading the disk store, swap the http_port values in the two squid.conf files. Set the original Squid to use port 5128, and the second one to use 3128. Next, run ``squid -k reconfigure'' for both Squids. New requests will go to the second Squid, now on port 3128 and the first Squid will finish handling its current requests. After a few minutes, it should be safe to fully shut down the first Squid and upgrade it. Later you can simply repeat this process in reverse.

它用的办法就是起动两个squid，给每个设置不同的端口。看来用同时起动多个Squid来实现多CPU支持是可行的。但他们可不可以使用共同的磁盘缓存或内存缓存是个大问题。如果可以的话就非常理想了，写个脚本就可以实现多CPU支持了。我手头不太方便，谁有条件测试一下吗？

keqian

有点看不懂了，请各位高手再指正：

我从SQUID的网站上看到SQUID FAQ中写并不支持SMP，但它却有Multi threads支持的选项，可以指定打开多少个线程。而我刚查到的资料是线程在linux中是平均分配到各CPU中并行运行的，这不是支持SMP了吗？

那它倒底是支持不支持多CPU呢？