SQUID，4天累计1亿次请求，无故障，但疑点重重，望高手诊症！

taoyouba

我的情况：
线路用的是百独带宽，全图片站缓冲，命中率超过99%，高峰时段带宽约50Mbps。
连续跑了4天，没啥问题，访问超快，不过从状态监控里面看到有几项不得其解，望高手指点。
以下是发帖时的状态报告，问题如下：
1.Store Disk files open 27878  第一天约用掉3000，每天都在增加，而且就算是半夜低峰期，也只有极少的回落，今天已经27***了，这么下去……会出问题不？为啥少访问的时候不降呢？
2.Largest file desc currently in use:   40716 文件描述符的情况跟1有点类似，不过低峰期倒是有明显回落。但是，每天看到的最大值却是一直增长，即将超过最大值65536了。超过又会出什么问题？
3.响应时间报告里面，几项值都是0，很奇怪。在以前使用ufs方式磁盘缓冲的时候，这几项都是有数值的，后来改ausf并开启了异部IO后，就都0了。正常么？何解？
        HTTP Requests (All):   0.00000  0.00000
        Cache Misses:          0.01164  0.01164
        Cache Hits:            0.00000  0.00000
        Near Hits:             0.02451  0.02592
        Not-Modified Replies:  0.00000  0.00000
4、咋下面的统计信息里面，那么多负数呢？难道SQUID连基本的算术都不会算？还是中了邪！

-------------------------------------------------------------------
Squid Object Cache: Version 3.0.STABLE25
Start Time:     Sat, 24 Apr 2010 02:38:47 GMT
Current Time:   Wed, 28 Apr 2010 16:40:20 GMT
Connection information for squid:
        Number of clients accessing cache:      141874
        Number of HTTP requests received:       102300526
        Number of ICP messages received:        0
        Number of ICP messages sent:    0
        Number of queued ICP replies:   0
        Number of HTCP messages received:       0
        Number of HTCP messages sent:   0
        Request failure ratio:   0.00
        Average HTTP requests per minute since start:   15496.5
        Average ICP messages per minute since start:    0.0
        Select loop called: 901162829 times, 0.440 ms avg
Cache information for squid:
        Hits as % of all requests:      5min: 91.5%, 60min: 92.2%
        Hits as % of bytes sent:        5min: 99.0%, 60min: 99.0%
        Memory hits as % of hit requests:       5min: 9.7%, 60min: 9.2%
        Disk hits as % of hit requests: 5min: 72.8%, 60min: 67.4%
        Storage Swap size:      10463420 KB
        Storage Swap capacity:  35.6% used, 64.4% free
        Storage Mem size:       1847100 KB
        Storage Mem capacity:   88.6% used, 11.4% free
        Mean Object Size:       15.37 KB
        Requests given to unlinkd:      0
Median Service Times (seconds)  5 min    60 min:
        HTTP Requests (All):   0.00000  0.00000
        Cache Misses:          0.01164  0.01164
        Cache Hits:            0.00000  0.00000
        Near Hits:             0.02451  0.02592
        Not-Modified Replies:  0.00000  0.00000
        DNS Lookups:           0.00000  0.00000
        ICP Queries:           0.00000  0.00000
Resource usage for squid:
        UP Time:        396092.278 seconds
        CPU Time:       68428.177 seconds
        CPU Usage:      17.28%
        CPU Usage, 5 minute avg:        6.81%
        CPU Usage, 60 minute avg:       10.30%
        Process Data Segment Size via sbrk(): 4293082028 KB
        Maximum Resident Size: 0 KB
        Page faults with physical i/o: 3
Memory usage for squid via mallinfo():
        Total space in arena:  -1885000 KB
        Ordinary blocks:       -1914081 KB  39101 blks
        Small blocks:               0 KB      0 blks
        Holding blocks:        322072 KB   2048 blks
        Free Small blocks:          0 KB
        Free Ordinary blocks:   29080 KB
        Total in use:          -1592009 KB 102%
        Total free:             29080 KB -1%
        Total size:            -1562928 KB
Memory accounted for:
        Total accounted:       -1777771 KB 114%
        memPool accounted:     -1777771 KB 114%
        memPool unaccounted:   214842 KB -13%
        memPoolAlloc calls: 21382198097
        memPoolFree calls:  21367568941
File descriptor usage for squid:
        Maximum number of file descriptors:   65536
        Largest file desc currently in use:   40716
        Number of file desc currently in use: 31077
        Files queued for open:                   0
        Available number of file descriptors: 34459
        Reserved number of file descriptors:   100
        Store Disk files open:                27878
Internal Data Structures:
        848448 StoreEntries
        357422 StoreEntries with MemObjects
        357287 Hot Object Cache Items
        680870 on-disk objects

taoyouba

回复 1# taoyouba


    5月2，再来报一下最新情况，先看今天的SQUID状态报告
Squid Object Cache: Version 3.0.STABLE25
Start Time:     Sat, 24 Apr 2010 02:38:47 GMT
Current Time:   Sun, 02 May 2010 01:55:20 GMT
Connection information for squid:
        Number of clients accessing cache:      52878
        Number of HTTP requests received:       159827034
        Number of ICP messages received:        0
        Number of ICP messages sent:    0
        Number of queued ICP replies:   0
        Number of HTCP messages received:       0
        Number of HTCP messages sent:   0
        Request failure ratio:   0.00
        Average HTTP requests per minute since start:   13926.4
        Average ICP messages per minute since start:    0.0
        Select loop called: 1437117084 times, 0.479 ms avg
Cache information for squid:
        Hits as % of all requests:      5min: 92.9%, 60min: 93.0%
        Hits as % of bytes sent:        5min: 99.2%, 60min: 99.3%
        Memory hits as % of hit requests:       5min: 10.3%, 60min: 11.2%
        Disk hits as % of hit requests: 5min: 69.4%, 60min: 67.9%
        Storage Swap size:      12209048 KB
        Storage Swap capacity:  41.6% used, 58.4% free
        Storage Mem size:       2084900 KB
        Storage Mem capacity:   100.0% used,  0.0% free
        Mean Object Size:       15.38 KB
        Requests given to unlinkd:      0
Median Service Times (seconds)  5 min    60 min:
        HTTP Requests (All):   0.00000  0.00000
        Cache Misses:          0.01235  0.01164
        Cache Hits:            0.00091  0.00091
        Near Hits:             0.05633  0.03829
        Not-Modified Replies:  0.00000  0.00000
        DNS Lookups:           0.00000  0.00000
        ICP Queries:           0.00000  0.00000
Resource usage for squid:
        UP Time:        688592.846 seconds
        CPU Time:       107435.381 seconds
        CPU Usage:      15.60%
        CPU Usage, 5 minute avg:        13.73%
        CPU Usage, 60 minute avg:       11.42%
        Process Data Segment Size via sbrk(): 4293282316 KB
        Maximum Resident Size: 0 KB
        Page faults with physical i/o: 3
Memory usage for squid via mallinfo():
        Total space in arena:  -1548520 KB
        Ordinary blocks:       -1590800 KB  95392 blks
        Small blocks:               0 KB      0 blks
        Holding blocks:        322072 KB   2048 blks
        Free Small blocks:          0 KB
        Free Ordinary blocks:   42279 KB
        Total in use:          -1268728 KB 103%
        Total free:             42279 KB -2%
        Total size:            -1226448 KB
Memory accounted for:
        Total accounted:       -1477911 KB 121%
        memPool accounted:     -1477911 KB 121%
        memPool unaccounted:   251462 KB -20%
        memPoolAlloc calls: 33380635646
        memPoolFree calls:  33363935871
File descriptor usage for squid:
        Maximum number of file descriptors:   65536
        Largest file desc currently in use:   53680
        Number of file desc currently in use: 52418
        Files queued for open:                   1
        Available number of file descriptors: 13117
        Reserved number of file descriptors:   100
        Store Disk files open:                49133
Internal Data Structures:
        973616 StoreEntries
        399916 StoreEntries with MemObjects
        399779 Hot Object Cache Items
        793909 on-disk objects

看红色文字部分，相比上一次采集时明显增大，估计明天差不多会到达上限65536了。
再看黄色部分，上次采集很多都是0，现在倒是有了点数字，为何呢？
怎么没个人回个话呢，懂也好，不懂也好，互相研究研究，探讨探讨嘛！

taoyouba

再来报告一下最新情况
今天10点，SQUID终于挂掉，表现为
1.squid进程仍然在，但已经没有带宽，估计死掉了吧
2.文件描述符已经达到极限65536，SQUID日志开始频繁报文件描述符不足
3.Store Disk files open数也已经达到极限65536左右
4.shutdown掉squid，重起，一切恢复正常……
——高手在哪里……难道大家的站都是小流量小带宽的小菜……没道理。。。。。

HH106

1. 试试这个,加快回收time_wait的连接
   
2. sysctl -w net.ipv4.tcp_tw_reuse=1
   
3. sysctl -w net.ipv4.tcp_tw_recycle=1
   

复制代码

taoyouba

先谢过楼上的大哥，从您提供的线索，我再搜索到一些相关的资料，并已经添加了如下配置项
--------------- /etc/sysctl.conf -------
net.ipv4.tcp_fin_timeout=30
#当KEEPALIVE起作用时，发送keepalive消息的频率，默认2小时，改为20分钟
net.ipv4.tcp_keepalive_time=1200
#开启SYN Cookies，当SYN等待列队溢出，启用cookies来处理，默认关闭，改为开启
net.ipv4.tcp_syncookies=1
#开启重用，允许将TIME-WAIT状态sockets重新用于新的TCP连接，默认关闭，改为开启
net.ipv4.tcp_tw_reuse=1
#启用TCP连接中TIME-WAIT sockets的快速回收，默认关闭，改为开启
net.ipv4.tcp_tw_recycle=1
#用户向外连接的端口范围，默认32768~61000，改为1024~65000
net.ipv4.ip_local_port_range=1024 65000
#表示SYN列队的长度，默认1024，改为8192，可容纳更多处于等待状态的连接
net.ipv4.tcp_max_syn_backlog=8192
#表示系统同时保持TIME-WAIT套接字的最大数量，如果超过将立即清除，默认180000，改为5000
net.ipv4.tcp_max_tw_buckets=5000
----------------------------------------------------
另外，通过SQUID的统计，得到异步线程信息如下
ASYNC IO Counters:
Operation       # Requests      Number serviced
open    6577563 6577563
close   0       0
cancel  6569006 -
write   0       0
read    41738103        41738103
stat    0       0
unlink  20879   20879
check_callback  265876201       -
queue   0       -


Threads Status:
#       ID      # Requests
1       0xb5ff7b90      3019078
2       0xb6038b90      3018769
3       0xb6079b90      3020343
4       0xb60bab90      3020441
5       0xb60fbb90      3017163
6       0xb613cb90      3024138
7       0xb617db90      3019322
8       0xb61beb90      3021238
9       0xb61ffb90      3023257
10      0xb6240b90      3016400
11      0xb6281b90      3024228
12      0xb62c2b90      3016743
13      0xb6303b90      3025091
14      0xb6344b90      3026046
15      0xb6385b90      3017616
16      0xb63c6b90      3026672

《SQUID权威指南》第8章提到：
取消(cancel)计数器正常情况下等同于关闭(close)计数器。这是因为close函数总是调用cancel函数，以确认任何未决的I/O操作被忽略。

为何我这里看到的close总是0呢？没有关闭？但从状态中看到Store Disk files open值在短时间内是有小幅减少的，只是每天这个基数总在增加。

liuhanzhao

这样的负载难道你还只用一台squid抗吗？我因为这样应该再增加一台机器了
另外考虑修改squid配置文件，减少会话保持和等待的一些时间

taoyouba

确实只有一台在扛着。。。。
从监视来看，CPU、磁盘I/O等都觉得还不至于出现瓶颈，所以这个服务器还能顶得起的
至于SQUID的性能是否已经可以说到达瓶颈，或者说在这样的负载下，SQUID无法应付？不至于吧！
如果真的达到SQUID的瓶颈，那我100M的独享也太浪费了！

CPU，空闲平均50%以上，磁盘I/O列队，一般不超过5个。不过，我还不能确定我对磁盘I/O的列队监控方法是否正确，我只是从下面两个计数来看

1. squid的状态信息
Files queued for open:                   0《==这个通常都是0，偶尔看到是1或2

2。执行 iostat -x 3 ，如下：（凌晨4点的取值，迟点在高峰期弄个上来给大家参考）

Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda2              0.00    35.22  4.32  8.64    53.16   350.83    31.18     0.02    1.85   1.31   1.69

每项数据的含义如下，
rrqm/s:     每秒进行 merge 的读操作数目。即 rmerge/s
wrqm/s:     每秒进行 merge 的写操作数目。即 wmerge/s
r/s:       每秒完成的读 I/O 设备次数。即 rio/s
w/s:       每秒完成的写 I/O 设备次数。即 wio/s
rsec/s:     每秒读扇区数。即 rsect/s
wsec/s:     每秒写扇区数。即 wsect/s
rkB/s:     每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。
wkB/s:     每秒写K字节数。是 wsect/s 的一半。
avgrq-sz:   平均每次设备I/O操作的数据大小 (扇区)。即 (rsect+wsect)/(rio+wio)
avgqu-sz:   平均I/O队列长度。即 aveq/1000 (因为aveq的单位为毫秒)。
await:     平均每次设备I/O操作的等待时间 (毫秒)。即 (ruse+wuse)/(rio+wio)
svctm:     平均每次设备I/O操作的服务时间 (毫秒)。即 use/(rio+wio)
%util:     一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间

从这些数据来看，I/O负载应该不是很高。

taoyouba

这样的负载难道你还只用一台squid抗吗？我因为这样应该再增加一台机器了
另外考虑修改squid配置文件，减少 ...
liuhanzhao 发表于 2010-05-07 14:25

    修改squid配置文件……
   这个可否给点可操作性的建议呢？该如何下手

taoyouba

怎么没兄弟回复啊。。。帮手！

yiqieyxk

回复 1# taoyouba


    能请教一下有关系统进程的最大连接数的问题，我之前做的一个，按照系统默认是1024个链接，很快就用完了，怎么设置为65536呢？