比SQUID快三倍的NCACHE发布啦！

shineyear

the HTTP rewrite module requires the PCRE library

需要装PCRE的库，这个主要是为了解析配置文件中的正则表达式的
同时还需要装OPENSSL 这个是为了做MD5计算用的
还有 ZLIB，这个是为了做GZIP压缩用的
谢谢

shineyear

原帖由 cx6445 于 2008-1-20 22:46 发表
c remove 文件的效率很低远不如新建一个文件,squid在使用中一旦硬盘cache配额用完,开始删除过期的object, cpu在iowait上的消耗就急剧上涨,原来满负荷能跑近100兆的流量只能降低为30兆都不到,不知道ncache在这方 ...

我们的NCACHE比较小巧，没有做自动的淘汰，在公司这边做了磁盘容量监控，如果磁盘满了，那么就会把这台服务器摘下来做缓存清理，前端我们做了一个NGINX PROXY 可以做代理，并且实时监测后端NCACHE的状况，一旦发现有服务器被摘下来了，那么马上将请求转发到别的NCACHE上

converse

原帖由 shineyear 于 2008-1-21 13:50 发表



我们的NCACHE比较小巧，没有做自动的淘汰，在公司这边做了磁盘容量监控，如果磁盘满了，那么就会把这台服务器摘下来做缓存清理，前端我们做了一个NGINX PROXY 可以做代理，并且实时监测后端NCACHE的状况， ...

不做自动淘汰似乎不好吧?我也做了不少的cache服务器了,都用的LRU算法进行淘汰.

converse

另外,问一个问题,你的这个项目跟squid定位是一样的,我想问一下你们和memcache有什么区别吗?

JohnBull

原帖由 converse 于 2008-1-21 19:42 发表
另外,问一个问题,你的这个项目跟squid定位是一样的,我想问一下你们和memcache有什么区别吗?

我不认为二者定位一样。
在网管的观点看来，SQUID的亮点是它灵活而丰富的ACL，而且是作为PROXY。做CACHE是他的副业。

感觉这个项目的定位更接近Varnish，不知道与Varnish相比性能如何。

converse

原帖由 JohnBull 于 2008-1-22 02:10 发表


我不认为二者定位一样。
在网管的观点看来，SQUID的亮点是它灵活而丰富的ACL，而且是作为PROXY。做CACHE是他的副业。

感觉这个项目的定位更接近Varnish，不知道与Varnish相比性能如何。

又知道了一个新项目...

converse

原帖由 shineyear 于 2008-1-21 13:46 发表
the HTTP rewrite module requires the PCRE library

需要装PCRE的库，这个主要是为了解析配置文件中的正则表达式的
同时还需要装OPENSSL 这个是为了做MD5计算用的
还有 ZLIB，这个是为了做GZIP压缩用的
谢谢

如果是这样子的话,那么在configure的时候就应该报错了,而不是到make的时候,你应该改改configure.

[ 本帖最后由 converse 于 2008-1-22 09:35 编辑 ]

andre.ease

请问你们用在哪些方面呢? 图片域? 直接删除了以后 后台压力如何?

Without http headers cache
那怎么处理http头呢?

[ 本帖最后由 andre.ease 于 2008-1-22 10:41 编辑 ]

cx6445

原帖由 shineyear 于 2008-1-21 13:50 发表



我们的NCACHE比较小巧，没有做自动的淘汰，在公司这边做了磁盘容量监控，如果磁盘满了，那么就会把这台服务器摘下来做缓存清理，前端我们做了一个NGINX PROXY 可以做代理，并且实时监测后端NCACHE的状况， ...

这个周期有多久，要知道没有一定数量的object，命中率是极低的，大量的都是porxy应用，对后面的文件服务器压力会相当大的，而积累一定数量的object又需要几十个小时。

shineyear

命中率80%
我们用在BLOG的静态文件缓存中
without http headers 我们不存储由后端发送来的缓存内容的HTTP头信息，取而代之，我们用一些索引文件中的标志位来取代，比如0x0000表示这是一个HTML/TEXT文件等等，这样可以大大提升性能
config 文件我改过的 ./configure: error: the HTTP rewrite module requires the PCRE library  缺库的话在这里就会停下来，是使用者继续MAKE才会有错误

varnish 和 memcache都是内存缓存，跟SQUID是不一样的，所以跟我们的定位也不一样，如果说SQUID是做纯PROXY用的，那么我推荐使用NGINX，性能好很多

现在还没有加入内存缓存的功能，性能就已经是SQUID的三倍了，我相信加入了内存缓存，性能会更好，而且传统的LRU我们没有使用，在新的版本中开发了一种新的O(1)复杂度的缓存淘汰算法，回头新的版本发布的时候我会重点介绍，谢谢