nginx使用ip_hash做负载均衡的问题及解决办法

yangbosos

nginx使用ip_hash做负载均衡的问题及解决办法
   作者:xieaotian发表于2009-02-24 17:08:22           看一个这样的架构：

squidnginxserver(s)

前端使用squid做缓存，后端用多台服务器，但多台服务器间的SESSION不共享，为了做负载均衡，使用nginx的ip_hash来做，使得来源机器的会话是持续的。

于是便引起来了一个问题，使用nginx的ip_hash规则来做负载均衡时，得到的IP则始终是squid机器的IP，于是负载均衡便失效了。

同理，在使用nginx的ip_hash做负载均衡方案时也会存在这个问题，即realip的问题，nginx有一个realip的模块，但并没有解决ip_hash的realip的问题，因此当通过代理访问你的网站就会引起分布均的问题，这种情况在小范围的负载方案中会表现的尤为突出。

nginx中有一个ngx_http_request_t的数据结构，其中的x_forwarded_for存储的就是realip的信息(当然这是存在安全问题的).

typedef struct {
ngx_uint_t hash;
ngx_str_t key;
ngx_str_t value;
u_char *lowcase_key;
} ngx_table_elt_t;

value存储的就是realip的信息。

于是便实现了ip_hash使用realip来做负载均衡的方案：
为ngx_http_upstream_ip_hash_module.c这个文件添加一个函数用来获取realip.

static ngx_int_t ngx_http_upstream_realip(ngx_http_request_t *r);

函数的实现如下：

static ngx_int_t
ngx_http_upstream_realip(ngx_http_request_t *r)
{
u_char *ip, *p;
size_t len;
in_addr_t addr;
struct sockaddr_in *sin;

if (r->headers_in.x_forwarded_for == NULL) {
return NGX_DECLINED;
}

len = r->headers_in.x_forwarded_for->value.len;
ip = r->headers_in.x_forwarded_for->value.data;

for (p = ip + len - 1; p > ip; p--) {
if (*p == ' ' || *p == ',') {
p++;
len -= p - ip;
ip = p;
break;
}
}

/*ngx_log_error(NGX_LOG_ERR, r->connection->log, 0, "realip: \"%s\"", ip);*/

/* AF_INET only */

sin = (struct sockaddr_in *) r->connection->sockaddr;

addr = inet_addr((char *) ip);

if (addr == INADDR_NONE) {
return NGX_DECLINED;
}

p = ngx_palloc(r->connection->pool, len);
if (p == NULL) {
return NGX_HTTP_INTERNAL_SERVER_ERROR;
}

ngx_memcpy(p, ip, len);

sin->sin_addr.s_addr = addr;

r->connection->addr_text.len = len;
r->connection->addr_text.data = p;

return NGX_DECLINED;
}

在函数ngx_http_upstream_init_ip_hash_peer中调用它来获取realip.

ngx_http_upstream_realip(r);

以上代码做过小的测试，能正常使用。 :)


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/12909/showart_2090147.html