海量运维常用技术之--Nginx网站负载均衡应用

send_linux

现在随着Nginx的普及，越来越大的网站开始应用Nginx了。Nginx不仅是一款用于高并发环境的Web应用服务器软件，它同时也是优划的负载均衡软件，它的优点也有很多：成本低廉、配置简单、强大的正则分发规则、对网络依赖极小，此外，稳定性也是它值得骄傲的地方。此外，Nginx+Keepalived作为很成熟的高可用集群架构方案，也越来越被大家熟悉和采用，更让人惊讶的是，Nginx还可以作为缓存反向代理软件，提供缓存加速功能，功能并不亚于老牌的Squid软件，也有许多朋友在做其相关对比测试。不过Nginx只能做为七层负载均衡，对于四层的流量负载均衡，它是无能为力的。

活动组织：
余洪春（抚琴煮酒）《构建高可用Linux服务器（第1-2版）》一书作者，系统架构师，ChinaUnix集群和高可用版版主。

本期话题：
话题1：除去Nginx以上的优点，你还能列举其更多的优点或缺点吗？
话题2：你维护的网站，目前采用的是哪一种缓存软件，Varnish、Squid还是Nginx？
话题3: 以真实案例来说明Nginx在其工作中的应用

活动时间：2013.8.19——2013.9.10

邀请嘉宾：
老男孩 （老男孩linux培训）老男孩Linux实战运维培训中心总裁
周华飞 北京弘睿千里信息技术有限公司认证部经理
崔晓辉（ coralzd ）  大众网高级系统管理员
刘晗昭（wenzizone）  高级架构师
胡安伟（king_819）   系统运维主管，CU自动化运维版版主
刘鑫 （gray1982）    高级系统运维工程师，CU集群和高可用版版主
余洪春（抚琴煮酒）   资深项目实施工程师、系统架构师

活动礼品：
积极参与话题讨论的10位CUer，可获得《构建高可用Linux服务器（第2版）》图书一本

zongg

这本书已买了，就不和大家抢了。

jimmy-_-lixw

提示: 内容被隐藏或删除 内容自动屏蔽

send_linux

jimmy-_-lixw 发表于 2013-08-20 09:52
回复 1# send_linux

哈哈，主要是版主对这方面的议题很有兴趣啊，上期是haproxy，这期是nginx哈，这样以后就能形成系列了

chenyx

支持下send_linux

1.nginx的内存占用,epoll模型应该算是优点吧

2.目前采用的是nginx做反向代理/负载均衡

3.实际的配置:

1. upstream mysvr {
   
2.          ip_hash;
   
3.          server 192.168.5.103:80  max_fails=2 fail_timeout=30s;
   
4.          server 192.168.5.104:80  max_fails=2 fail_timeout=30s;
   
5.          server 192.168.5.90:80  max_fails=2 fail_timeout=30s;
   
6.          check interval=3000 rise=2 fall=5 timeout=1000;
   
7.      }
   
8. server {
   
9.         listen       80;
   
10.     #    listen       somename:8080;
    
11.     #    server_name  somename  alias  another.alias;
    
12. 
    
13.         location / {
    
14.           proxy_pass        http://mysvr/;
    
15.           proxy_set_header  X-Real-IP  $remote_addr;
    
16.           proxy_set_header Host $host;
    
17.           proxy_set_header X-Real-IP $remote_addr;
    
18.           proxy_set_header REMOTE-HOST $remote_addr;
    
19.           proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    
20.           client_max_body_size 50m;
    
21.           client_body_buffer_size 256k;
    
22.           proxy_connect_timeout 30;
    
23.           proxy_send_timeout 30;
    
24.           proxy_read_timeout 60;
    
25.           proxy_buffer_size 256k;
    
26.           proxy_buffers 4 256k;
    
27.           proxy_busy_buffers_size 256k;
    
28.           proxy_temp_file_write_size 256k;
    
29.           proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
    
30.           proxy_max_temp_file_size 128m;
    
31.           proxy_cache tmpcache;
    
32.           proxy_cache_key               $uri$is_args$args;
    
33.           proxy_cache_valid  200 1d;
    
34.           proxy_cache_use_stale  error timeout invalid_header updating
    
35.                                    http_500 http_502 http_503 http_504;
    
36.         }
    
37. location /nginx_status {
    
38.   # copied from http://blog.kovyrin.net/2006/04/29/monitoring-nginx-with-rrdtool/
    
39.      stub_status on;
    
40.        access_log   off;
    
41.          allow 192.168.1.1;
    
42.            deny all;
    
43.            }
    
44. 
    
45. location ~ /purge(/.*) {
    
46.         allow                   192.168.1.1;
    
47.        deny                    all;
    
48.         proxy_cache_purge       STATIC   $1$is_args$args;
    
49. }
    
50. 
    
51. location /nstatus {
    
52.                 check_status;
    
53.                 access_log   off;
    
54.                 allow 192.168.1.1;
    
55.                 deny all;
    
56.            }
    
57. }
    

复制代码

xueleixu

web开发过程中,大家肯定需要配置不同的域名来区分正式环境和测试环境，那么这个时候就有个问题，就是那些已经写在了静态文件（html、js、css）中的链接。
大家基本会选择2种方式
（1）在测试环境中需要改成测试环境的域名，而当程序发布到正式环境的时候又要修改这些静态文件中链接中的域名。
          缺点：费时费力，稍有不注意，就会有漏网之鱼。
（2）另外一种就是配置客户端的hosts映射。
          缺点：测试的时候，忘记修改hosts，往往会导致测试的目标环境不清楚，即本想访问测试环境的，结果却访问到了正式环境；本想访问正式环境，却访问测试环境了。

下面是我使用Nginx中的HttpSubModule模块和第三方的substitutions4nginx模块，来替换静态文件中的url，来实现上面的需求
HttpSubModule，不支持正则表达式，只能配置一条命令 http://wiki.nginx.org/NginxHttpSubModule
substitutions4nginx 支持正则表达式，可以配置多条命令 https://code.google.com/p/substitutions4nginx/

通过这种方式非常好用，开发只需要关注正式环境使用的域名，而在测试环境中的链接都是使用Nginx中的这个功能来替换。这样程序不需要任何修改（二进制文件是不能替换的，例如asp.net。）就可以部署到测试和正式环境中。


以上情况是在有多个域名站点的时候才会用到。如果所有程序都是用一个域名，本身就没有上面的烦恼，只需要使用相对路径就可以了。呵呵！


其实上面的HttpSubModule模块和第三方的substitutions4nginx模块，大家都不陌生，只是大家更多的应用在偷站方面。希望楼下分享更多更好的应用！

rootsecurity

用nginx做web服务器也快3年了，从nginx0.7.x就开始用，一直延续到现在的nginx1.2.x的版本。
缓存这块一开始是用varnish，现在在逐步往ATS（Apache Traffic Server）上迁移
Varnish这块的配置可以给大家show一下（环境：CentOS5.6）
sysctl.conf的配置肯定是不可少的

1. net.ipv4.ip_local_port_range = 1024 65536
   
2. net.core.rmem_max=16777216
   
3. net.core.wmem_max=16777216
   
4. net.ipv4.tcp_rmem=4096 87380 16777216
   
5. net.ipv4.tcp_wmem=4096 65536 16777216
   
6. net.ipv4.tcp_fin_timeout = 30
   
7. net.ipv4.tcp_keepalive_time = 300
   
8. net.ipv4.tcp_tw_recycle = 1
   
9. net.core.netdev_max_backlog = 30000
   
10. net.ipv4.tcp_no_metrics_save=1
    
11. net.core.somaxconn = 262144
    
12. net.ipv4.tcp_syncookies = 0
    
13. net.ipv4.tcp_max_orphans = 262144
    
14. net.ipv4.tcp_max_syn_backlog = 262144
    
15. net.ipv4.tcp_synack_retries = 2
    
16. net.ipv4.tcp_syn_retries = 2

复制代码

varnish版本：2.0.2

1. 
   
2. backend core_ahosting_com
   
3. {
   
4.     .host = "1.1.1.1"  ;
   
5.     .port = "80";
   
6.     .probe = {
   
7.         .url = "http://www.ahosting.com/do_not_delete/noc.gif";
   
8.         .interval  = 5s ;
   
9.         .timeout   = 2s ;
   
10.         .window    = 5 ;
    
11.         .threshold = 3 ;
    
12.     }
    
13. }
    
14. 
    
15. acl purge
    
16. {
    
17.     "localhost";
    
18.     "127.0.0.1";
    
19.     "1.1.1.1";
    
20.     "2.2.2.2.";
    
21. }
    
22. 
    
23. if (req.http.host ~ "ahosting.com")
    
24.     {
    
25.         if (req.url ~ "\.php")
    
26.         {
    
27.             return(pass);
    
28.         }
    
29.         elsif (beresp.ttl <= 0s || beresp.http.Vary == "*")
    
30.         {
    
31.             set beresp.ttl = 12h;
    
32.         }
    
33.     }
    
34.     elsif (beresp.ttl < 12h || beresp.http.Vary == "*")
    
35.     {
    
36.         set beresp.ttl = 12h;
    
37.     }
    
38. }
    
39. 
    
40.     if (req.request == "GET" || req.request == "HEAD") {
    
41.         return (lookup);
    
42.     }
    
43.     else {
    
44.         return (pipe);
    
45.     }
    
46.     if (! req.backend.healthy)
    
47.     {
    
48.         set req.grace=3d;
    
49.     } else {
    
50.         set req.grace=1m;
    
51.     }
    
52. }
    
53. 
    
54. sub vcl_fetch
    
55. {
    
56.     if (beresp.status == 500 || beresp.status == 502 || beresp.status == 503)
    
57.     {
    
58.         set beresp.saintmode=1m;
    
59.         restart;
    
60.     }
    
61. 
    
62.     set beresp.grace = 3d ;
    
63. 
    
64.     if (beresp.http.set-Cookie)
    
65.     {
    
66.         return(pass);
    
67.     }
    
68. sub vcl_error {
    
69.         set obj.http.Content-Type = "text/html; charset=utf-8";
    
70.         synthetic {"
    
71.         <?xml version="1.0" encoding="utf-8"?>
    
72.         <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
    
73.         <html>
    
74.         <head>
    
75.         <title>"} obj.status " " obj.response {"</title>
    
76.         </head><body>
    
77.         <h1>Error "} obj.status " " obj.response {"</h1>
    
78.         <p>"} obj.response {"</p>
    
79.         <h3>Guru Meditation:</h3>
    
80.         <p>XID: "} req.xid {"</p>
    
81.         <hr>
    
82.         <address>
    
83.         <a href="http://www.varnish-cache.com/">varnish cache server</a>
    
84.         </address>
    
85.         </body>
    
86.         </html>
    
87.         "};
    
88.         return (deliver);
    
89. }
    
90. 
    

复制代码

expert1

mark.顶一下。

Purple_Grape

楼主有空把张宴请过来聊聊啊！