免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: aaaaaa
打印 上一主题 下一主题

[proxy] Apache Traffic Server 3.2.0 正式版,附srpm包 [复制链接]

论坛徽章:
0
281 [报告]
发表于 2012-12-24 15:03 |只看该作者
回复 273# win_hi


   
1, ram 和 disk比例得看你自己的使用场景,我们推荐1%左右,这样才经济啊。

2,回源如果出问题,TS会尽量用stale的数据来给用户,如果你这个内容是新的,本地没cache,那这个只能会给用户一个502啦

3,TS作hash的优势在于,减少http封包解包过程,而这是整个http协议里最恶心的地方。http2.0 SPDY等都是在改进这个。而TS的cluster实现是在cache层实现的,已经屏蔽了http引入的问题。这是它的天然优势。在TS里,cluster是cache文件系统的一个延伸。而如果用nginx haproxy等所谓的7层负载,那是在http层以上的层面实现,自然差异就大了。

4,varnish具有天然优势,TS并不是所有的地方都比其他cache/proxy软件强。相反,在任何方面,其他软件都有比TS强的地方,如squid功能强,兼容性好,varnish简单ram性能好,nginx在简单环境下,性能超好,haproxy7层负载绝好,等等。TS跟他们的长处比,都不是最好的。但是TS是一个整体设计的软件,从一开始就是为作一个各个方面比较平衡的设计,从软件设计角度,这个是一个很蠢的设计,但是胜在当初参与设计的很多都是号称科学家级别的人,因此他们设计的这个系统,在整体上都可以跟各个软件的长处比一比,呵呵。

从我们的使用中觉得,用ATS的,都是有需求的人。需求简单而且明确的,能找到比TS更合心的,多数人走不到ATS来。


FYI

论坛徽章:
0
282 [报告]
发表于 2012-12-24 15:17 |只看该作者
回复 278# Jacksonqi


   

1,能。缓存大文件也是一个通用cache系统的基本要求。底层方法也不特别,就是文件系统的设计思想,把多个块连成一个文件。

2,TS能不能作城域网,这个主要是能力和兼容性的问题。就设计本身来说,TS是当初定位到运营商级别的2个公司之一,另一个是CISCO公司。当然这两个公司的发展都不太好。因此在ISP级别并没有什么很“靠谱”的解决方案。性能方面TS是很好的,阿里用ATS其中性能就是一个原因,性能测试方法我还在考虑中,回头明确确定性能测试方案后我们再发一个性能测试报告出来看,就我们测试来看,一对E5 2650的CPU,跑20-30G流量很靠谱。有运营商在用ATS作透明代理解决方案,并sponser了一个核心开发人员参与相关开发。想测试还是有方法的,如流量镜像、tcpcopy等的。

3,能,参考插件目录里的balancer 以及regex_remap等,ATS在功能扩展方面一直是走的很远的。相信你能想到的大多数功能都可以用扩展插件解决。原inktomi时代有很多重型业务插件实现了很多复杂业务,yahoo时代更在插件方面是用到极致。流量导向是一个很复杂的问题,可以有很多方法,但是合适自身业务的方法也很难找到,我们也在探讨srv和parent机制等。


FYI

论坛徽章:
0
283 [报告]
发表于 2013-01-08 10:50 |只看该作者
回复 283# aaaaaa


    豪哥,问一下关于parent的配置方法,我的环境是client->ats->squid(1.1.1.1 1.1.1.2)->realserver,需要配置ats的parent方式,我的配置如下:
1、records.config
CONFIG proxy.config.http.parent_proxy_routing_enable INT 1
2、remap.config
regex_map http://(.*).abc.com/ http://$1.abc.com
3、parent.config
url_regex=http://$1.abc.com scheme=http parent="1.1.1.1:80; 1.1.1.2:80"

配置后,访问ats,检查日志发现并没有去squid抓取,而是通过resolv.conf的dns解析的地址去抓取的数据,请问配置**问题么?

论坛徽章:
0
284 [报告]
发表于 2013-01-08 18:07 |只看该作者
url_regex=http://$1.abc.com scheme=http parent="1.1.1.1:80; 1.1.1.2:80"

这个是拼写错误吗?
应该用
url_regex=http://.*.abc.com scheme=http parent="1.1.1.1:80; 1.1.1.2:80"
?

论坛徽章:
0
285 [报告]
发表于 2013-01-16 11:11 |只看该作者
回复 260# aaaaaa


能否贴下日志处理的配置????


   

论坛徽章:
0
286 [报告]
发表于 2013-01-18 14:14 |只看该作者
回复 230# aaaaaa
能简单说下这种cluster处理流程或者是架构,以及配置方法吗??




   

论坛徽章:
0
287 [报告]
发表于 2013-01-29 10:40 |只看该作者
本帖最后由 brianchen829 于 2013-01-29 10:41 编辑

1、ATS有记录硬盘中对象被交换的日志吗?最近用ATS硬盘分配200G后,很快满了,很想验证一下哪些对象什么时候被交换出去。
2、我现在用2G内存。发现内存每天都会增长。运行10多天后内存就不足了。机器重启后又能运行10多天,刚开始在想是对象索引需要内存。但也不应当是无限的增长啊。而且这段时间硬盘都是满的。是不是内存管理方面有什么问题。硬件内存可以增加,但ATS使用内存一直在增长,那也总会有用完的一天。有谁能分享一下ATS内存使用情况的数据的吗?以前用squid也是内存问题,头大啊。

论坛徽章:
0
288 [报告]
发表于 2013-02-01 01:51 |只看该作者
任何内存有问题的,请参考 https://issues.apache.org/jira/browse/TS-1006 的说明,这里的相关patch我会在几天内commit到master里去,如果用stable的分支或版本,这个优化可能没这么快port过去。

ats的硬盘写入是一个RRD模式,及循环覆盖。我们基本不关心覆盖了啥,所以系统也没啥好法子查写入覆盖的东西。如果要查详细数据,可以分析一下日志,因为我们主要担心的是回源不受控制,所以分析回源的纪录里看看是否有写内容一直没法cache住而我们希望他们能cache住的。

FYI

论坛徽章:
0
289 [报告]
发表于 2013-02-01 01:54 |只看该作者
本帖最后由 aaaaaa 于 2013-02-01 01:55 编辑

回复 287# yangyangqq2


cluster是一个类似于NFS的RPC远程调用机制,整个cache系统使用cluster的机制把storage扩展到集群的所有机器伤,通过对请求URL进行hash分散后,形成存储扩展的效果。我通常给大家解释TS的cluster跟haproxy+squid的最大区别是,TS的cluster是在文件系统层面的,而haproxy的7层hash是在http层面的,我认为这是最形象的解释。


参考官方文档:
http://trafficserver.apache.org/ ... howto/index.en.html

FYI

   

论坛徽章:
0
290 [报告]
发表于 2013-02-01 12:48 |只看该作者
我现在用的是ATS 3.2
内存是2G
ramcache是200M
最近经常出现错误自动重启。
FATAL: ats_memalign: couldn't allocate 67108864 bytes at alignment 8192 - insufficient memory
/usr/bin/traffic_server - STACK TRACE:
/lib/libtsutil.so.3(ink_fatal+0x24)[0x4002e334]
/lib/libtsutil.so.3(ats_memalign+0x87)[0x400308c7]
/lib/libtsutil.so.3(ink_freelist_new+0xf7)[0x40031287]
/usr/bin/traffic_server(_ZN9MIOBuffer9add_blockEv+0x38[0x828d8c8]
/usr/bin/traffic_server(_ZN9MIOBuffer5writeEPKvx+0x14c)[0x82b800c]
/usr/bin/traffic_server(_ZN14ChunkedHandler14transfer_bytesEv+0x3cc)[0x81a746c]
/usr/bin/traffic_server(_ZN14ChunkedHandler10read_chunkEv+0x12)[0x81a7772]
/usr/bin/traffic_server(_ZN14ChunkedHandler23process_chunked_contentEv+0xdc)[0x81a7adc]
/usr/bin/traffic_server(_ZN10HttpTunnel24producer_handler_chunkedEiP18HttpTunnelProducer+0x47)[0x81a7b77]
/usr/bin/traffic_server(_ZN10HttpTunnel16producer_handlerEiP18HttpTunnelProducer+0x149)[0x81a86d9]
/usr/bin/traffic_server(_ZN10HttpTunnel12main_handlerEiPv+0x82)[0x81a8cd2]
/usr/bin/traffic_server[0x829b972]
/usr/bin/traffic_server(_ZN10NetHandler12mainNetEventEiP5Event+0x25[0x8293788]
/usr/bin/traffic_server(_ZN7EThread13process_eventEP5Eventi+0xa2)[0x82b9c72]
/usr/bin/traffic_server(_ZN7EThread7executeEv+0x473)[0x82ba593]
/usr/bin/traffic_server(main+0xe30)[0x810f7c0]
/lib/libc.so.6(__libc_start_main+0xd9)[0x40322fb9]
/usr/bin/traffic_server[0x80d1ef1]
但当时内存是足够的剩余内存还有700多M。老大能指点一下,这个异常说明的是一个什么类型问题吗?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP