Chinaunix

标题: squid2.6加速WEB支持虚拟主机配置心得体会 [打印本页]
作者: 人面兽心    时间: 2006-12-19 22:04
标题: squid2.6加速WEB支持虚拟主机配置心得体会
本人一台web服务器，日流量约10万，上面有好几个虚拟主机，近日装上Squid 2.6进行WEB加速，Squid 和Apache均在同一台服务器上面，效果非常明显，看到论坛上好多人问如何配置squid2.6支持,虚拟主机
现在将安装过程贴出和大家一起分享，给菜鸟们一个学习机会和老鸟们一个批评指正的机会

主机配置为： CPU: AMD64 Sempron 3100  内存： 2GB RAM

下载：wget  http://www.squid-cache.org/Versions/v2/2.6/squid-2.6.STABLE6.tar.bz2

tar jxvf squid-2.6.STABLE6.tar.bz2

安装： ./configure --with-maxfd=65536

这个--with-maxfd参数是增大squid文件描述符到65536

安装完毕后开始配置/usr/local/squid/etc/squid.conf


  2. visible_hostname www.yoursite.com
  3. http_port xx.xx.xx.xx:80 vhost vport

  5. #xx.xx.xx.xx为这台服务器的IP地址

  7. icp_port 0

  9. cache_mem 400 MB

  11. #设置Squid所能使用的内存共400MB，这个值因人而异

  13. cache_swap_low 90
  14. cache_swap_high 95

  16. maximum_object_size 20000 KB

  18. #最大缓存文件大小，超过这个值则不缓存，这个值因人而异

  20. maximum_object_size_in_memory 4096 KB

  22. #装入内存缓存的文件大小，这个值对Squid的性能影响比较大，因为默认值是8K,超过8K的文件都不装入内存，而实际应用中很多网页和图片等都超过8KB, 个人认为如果缓存不装入内存而存在磁盘上，性能和apache直接读取磁盘文件没什么区别，甚至不如直接访问apache，现在设置成小于4兆的文件通通装入内存缓存.

  24. cache_dir ufs /tmp1 10000 16 256

  26. #磁盘缓存的类型和目录，大小，一二级目录的设置，这里磁盘缓存大小是10G

  28. cache_store_log none

  30. #这个设置是不记录store.log

  32. emulate_httpd_log on

  34. #打开emulate_httpd_log选项,将使Squid仿照Aapche的日志格式

  36. logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh

  38. #日志格式combined的设置

  40. pid_filename /var/log/squid/squid.pid
  41. cache_log /var/log/squid/cache.log
  42. access_log /var/log/squid/access.log combined

  44. #这里是设置pid和日志文件的位置，因人而异，同时日志格式是combined，awstats可以直接调用分析了

  46. acl all src 0.0.0.0/0.0.0.0

  48. acl QUERY urlpath_regex cgi-bin .php .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
  49. cache deny QUERY

  51. #设置不想缓存的目录或者文件类型


  54. acl picurl url_regex -i \.bmp$ \.png$ \.jpg$ \.gif$ \.jpeg$
  55. acl mystie1 referer_regex -i aaa
  56. http_access allow mystie1 picurl
  57. acl mystie2 referer_regex -i bbb
  58. http_access allow mystie2 picurl

  60. #设置防图片盗链的，其中aaa,和bbb分别是虚拟主机的域名，referer中必须包含有aaa或者bbb的域名才能访问图片

  62. acl nullref referer_regex -i ^$
  63. http_access allow nullref
  64. acl hasref referer_regex -i .+
  65. http_access deny hasref picurl

  67. #设置允许直接访问图片和拒绝referer中没有包含aaa或着bbb的访问图片

  69. cache_peer xx.xx.xx.xx parent 81 0 no-query originserver login=PASS

  71. #xx.xx.xx.xx还是本机服务器的IP，81则是apache的端口，如果你的虚拟主机有用户名和密码保护起来的目录必须设置login=PASS，否则认证会失效

  73. cache_effective_user nobody
  74. cache_effective_group nobody

  76. #squid使用的用户组和用户名
复制代码

squid配置完成！

建立缓存和日志目录，并改变权限使squid能写入
mkdir /tmp1
mkdir /var/log/squid
chown -R nobody:nobody /tmp1
chmod 666 /tmp1
chown -R nobody:nobody /var/log/squid
－－－－－－－－－－－－－－－－－－－－－－－
Apache需要改动的配置


  3. Port 81

  5. #要把端口改为81

  7. NameVirtualHost xx.xx.xx.xx:81
  8. #本台主机IP和端口

  10. 虚拟主机配置
  11. <VirtualHost xx.xx.xx.xx>
  12.     ServerAdmin xxx@yahoo.com
  13.     DocumentRoot /home/aaa/www
  14.     ServerName aaa.com
  15.     ServerAlias www.aaa.com
  16.     ScriptAlias /cgi-bin/ "/home/aaa/cgi-bin/"
  17.     <Directory />
  18.       Options Includes FollowSymLinks
  19.       AllowOverride All
  20.     </Directory>
  21. </VirtualHost>

  23. 如果还有别的虚拟主机请参照上面设置
复制代码

---------------------------------------------------------

重启apache : apachectl restart

----------------------------------------------------------
首次运行squid要先建立缓存

/usr/local/squid/sbin/squid -z

启动squid

echo "65535" > /proc/sys/fs/file-max
ulimit -HSn 65535
/usr/local/squid/sbin/squid

大家最好把这几句话放到squid启动脚本里面，这样才会获得65536文件描述符

最好还编辑/etc/hosts 文件
添加以下内容

xx.xx.xx.xx aaa.com www.aaa.com bbb.com www.bbb.com

这样免去查询DNS，速度也快一些


现在大家肯定急着要打开浏览器访问你的网站看看效果吧，其实没啥变化，要等到有流量访问，squid把文件都装到内存后，效果才明显。可以用top命令观察squid的内存使用情况或者用

cat /var/log/squid/access.log |grep TCP_MEM_HIT

如果看到很多的TCP_MEM_HIT ，这表明该文件是从内存缓存读取的，squid已经起作用了！你再用浏览器打开该文件，应该是快如闪电了。。呵呵，大功告成了！ 还有其他类型的HIT，如TCP_HIT等等，这些是从磁盘读取的，我觉得加速的意义不大，只不过缓解了apache的压力而已。

后记： 我的服务器因流量很大，大多都是静态的网页，日访问量常常上10W, apache常常不堪负重，苟延残存，任务数常到达300甚至400，后来安装squid2.6接管了大部分的apache，服务器如释重负，不但速度有提升，而且系统负载也低了很多，任务数稳定在100~120之间，任他流量波涛汹涌，服务器依然屹立不倒。不过squid就是比较吃内存，如果服务器能的内存加到4GB那就爽多了。

[ 本帖最后由 人面兽心 于 2006-12-23 09:14 编辑 ]
作者: qq830406    时间: 2006-12-19 22:26
很不错,正在拜读.
squid26好像不需要dns就可泛解析
作者: LnBSD    时间: 2006-12-19 22:59
收下。慢慢看
作者: kaka_sun    时间: 2006-12-21 15:38
thanks
作者: twodog29    时间: 2006-12-27 11:06
一直对squid作反向代理有个疑问？

如果只有一台服务器，好像不需要用反向代理吧。我总以为至少要代理两台服务器以上才采用squid来做反向代理。

向楼主你这种情况我更不能理解了，squid和apache在同一台机子上，不是更加拖慢访问了吗？能和我大概说说吗？
作者: HonestQiao    时间: 2006-12-27 11:11
http://bbs.chinaunix.net/viewthr ... 1%26filter%3Ddigest

看看这篇。

支持虚拟主机似乎不是很么绝技，或者是手册没有仔细研读好哦。
作者: jun821    时间: 2007-07-09 13:37
网络上有许多配置squid的文件，经过我一个一个的证实，这篇文件是最全面，最正确的，适合2.6.4以上的版本。我以根据这篇文章做成功
作者: churchmouse    时间: 2007-07-12 13:20
正在学习做proxy，学习了。感觉这个很简单明白。回去做测试。。。。。。
作者: wigeboy    时间: 2007-07-14 04:36
这个只能是web和squid在同一机器上面的，或者squid的cache_peer只有一台
做不到多cache_peer 的虚拟主机
作者: longdas    时间: 2007-07-14 17:12
有时候需要多ISP出口，所以需要用squid做加速。
作者: dgvri    时间: 2007-09-01 20:28
你是不是少写个呀？
acl all src 0.0.0.0/0.0.0.0
下面加下面：
http_access allow all


否则默认是
http_access deny all
就一直提示无法访问，不知道大家有没有配成，反正我是按上面的不行，老提示出错，加上上面这行就可以了。

[ 本帖最后由 dgvri 于 2007-9-1 20:37 编辑 ]
作者: shangdi12    时间: 2007-09-07 11:37
标题: 相当郁闷
visible_hostname test.com
http_port 134.234.102.2:81 vhost vport


icp_port 0

cache_mem 200 MB


cache_swap_low 90
cache_swap_high 95

maximum_object_size 20000 KB



maximum_object_size_in_memory 4096 KB


cache_dir ufs /usr/local/squid/var/cache 10000 16 256


cache_store_log none


emulate_httpd_log on




pid_filename /var/log/squid/squid.pid
cache_log /var/log/squid/cache.log
access_log /var/log/squid/access.log combined


acl all src 0.0.0.0/0.0.0.0
http_access allow all
acl QUERY urlpath_regex cgi-bin .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
cache deny QUERY



#acl picurl url_regex -i \.bmp$ \.png$ \.jpg$ \.gif$ \.jpeg$
#acl mystie1 referer_regex -i aaa
#http_access allow mystie1 picurl
#acl mystie2 referer_regex -i bbb
#http_access allow mystie2 picurl


#acl nullref referer_regex -i ^$
#http_access allow nullref
#acl hasref referer_regex -i .+
#http_access deny hasref picurl


cache_peer 134.234.102.2 parent 80 0 no-query originserver


cache_effective_user nobody
cache_effective_group nobody


(相当郁闷,我按楼主方式配置好squid, 配置文件在上面,然后squid -z 运行成功,但是在cache目录下没有自动生成目录.squid -s,启动成功. test.com已经在hosts里指定 134.234.102.2 test.com .apache我用的80端口.
因为我还有其他项目在服务器上,所以不能改APACHE 80端口,我就让squid用81端口来测试.
然后在本机下配置好hosts,在IE下访问 test.com是OK,但是test.com:81就不能访问. 怎么squid 没有起反向代理的作用呢? 我搞了好久了,希望有能力的朋友帮兄弟看看 . 兄弟在此谢谢了 ~  ^^ )
作者: shangdi12    时间: 2007-09-07 11:42
visible_hostname test.com
http_port 134.234.102.2:81 vhost vport
上面两句是指squid 监听服务器上test.com域名和服务器上81端口吗?

cache_peer 134.234.102.2 parent 80 0 no-query originserver
上面一句是指监听服务器上80端口,反向代理服务器上test.com域名80端口?

个人理解是,用户如果 test.com:81访问服务器,服务器上squid因该起反向代理作用,找缓存,如果没有就调
test.com:80 apache服务器的内容并缓存.


我的配置不成功,往达人指导我一下,看我的配置和想法是否哪有不对的地方. 小弟在此多谢了.

[ 本帖最后由 shangdi12 于 2007-9-7 11:45 编辑 ]
作者: 人面兽心    时间: 2007-09-08 12:15
原帖由 shangdi12 于 2007-9-7 11:42 发表
visible_hostname test.com
http_port 134.234.102.2:81 vhost vport
上面两句是指squid 监听服务器上test.com域名和服务器上81端口吗?

cache_peer 134.234.102.2 parent 80 0 no-query originserver
上 ...




俺也搞不懂，这样改貌似没错

[ 本帖最后由 人面兽心 于 2007-9-8 12:18 编辑 ]
作者: 网络    时间: 2007-11-17 23:14
原帖由 wigeboy 于 2007-7-14 04:36 发表
这个只能是web和squid在同一机器上面的，或者squid的cache_peer只有一台
做不到多cache_peer 的虚拟主机


是的 多台设置IP 老兄 你是怎么解决的？
作者: ssmarine    时间: 2007-12-13 17:33
acl QUERY urlpath_regex cgi-bin .php .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
cache deny QUERY
=====================================上面的应该是
acl QUERY urlpath_regex cgi-bin .php .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
no_cache deny QUERY
才对吧？LZ
作者: twodog29    时间: 2007-12-20 08:54
cache deny QUERY
no_cache deny QUERY

它们的意思应该是一样的吧
作者: simeiren    时间: 2007-12-20 09:43
标题: 我也不大清楚！
但是分别用cache 和 no_cache 时缓存情况是不一样的！
作者: andyhua12    时间: 2008-03-13 10:20
关于你那个文件句柄65536，首先需要把linux系统的文件句柄增加到65536，然后编译squid的时候默认就加这个编译参数了！
作者: xuledw    时间: 2008-03-24 15:41
原帖由 ssmarine 于 2007-12-13 17:33 发表
acl QUERY urlpath_regex cgi-bin .php .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
cache deny QUERY
=====================================上面的应该是
acl QUERY urlpath_regex cgi-bin .php .cgi . ...


搜资料如下 不知道是否OK
这里是2.5的规范
no_cache deny QUERY
2.6版应该写成
cache deny QUERY
作者: lpc16    时间: 2008-09-08 11:55
学习中.......

不错



欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2